CoreTech

موتور عصبی A20 Pro در برخی پردازش‌ها از GPU هفت‌هسته‌ای قوی‌تر است، البته فقط در زمینه هدف!

ابوالفضل | ۱۴ ساعت پیش

تراشه A20 Pro اپل ظاهراً در بخش پردازش‌های هوش مصنوعی، توانایی قابل‌توجهی فراتر از پردازنده گرافیکی خود دارد. گفته می‌شود موتور عصبی دوگانه این تراشه که از دو بخش ۱۶ هسته‌ای تشکیل شده، در برخی وظایف تخصصی می‌تواند به توان محاسباتی اوج بالاتری از GPU هفت‌هسته‌ای برسد. البته این برتری فقط زمانی معنا دارد که بار کاری مشخصاً برای استفاده از NPU طراحی شده باشد.

Max Weinbach در شبکه اجتماعی X به نکته‌ای درباره A20 Pro و M6 اشاره کرده است. به گفته او، افزایش عملکرد حاصل از موتور عصبی دوگانه ۱۶ هسته‌ای می‌تواند در وظایف مناسب، از بهبودهای ایجادشده توسط GPU بیشتر باشد. برای نمونه اجرای مدل‌های کوچک هوش مصنوعی با حدود ۳ میلیارد پارامتر روی دستگاه و پردازش پرامپت، از کارهایی هستند که می‌توانند مستقیماً از ظرفیت این بخش استفاده کنند.

در چنین وظایفی موتور عصبی می‌تواند بخش بزرگی از بار پردازشی را بر عهده بگیرد و ظرفیت بیشتری برای CPU و GPU باقی بگذارد. پردازش پرامپت در مرحله Prefill مدل‌های هوش مصنوعی کوانتیده نیز مستقیماً با مسیرهای پردازشی Neural Engine مطابقت دارد. تشخیص صدا روی دستگاه و بهبود صوتی بلادرنگ هم از دیگر کاربردهایی هستند که برای NPU مناسب طراحی شده‌اند و می‌توانند از توان آن بهره ببرند.

قابلیت‌های بینایی نیز در همین دسته قرار می‌گیرند؛ از جمله تخمین عمق دوربین به‌صورت بلادرنگ، محو کردن پس‌زمینه، تشخیص متن و بخش‌بندی تصویر. با این حال، همه وظایف به موتور عصبی واگذار نمی‌شوند؛ عملیات محاسباتی بدون کوانتیزه با FP32 یا محاسبات ممیز شناور ۶۴ بیتی، همچنین تنسورهایی که شکلشان به‌صورت پویا تغییر می‌کند، ممکن است به CPU یا GPU منتقل شوند و از مسیر دیگری پردازش شوند.

در پردازش روی دستگاه، تولید تک‌توکن در مدل‌های زبانی بزرگ می‌تواند به دلیل سربار ارسال وظیفه به Neural Engine، گزینه مناسبی برای این بخش نباشد و در چنین شرایطی CPU یا GPU انتخاب بهتری خواهد بود.

منبع

ابوالفضل | ۱۴ ساعت پیش

دیدگاهتان را بنویسید