واکنش جنجالی مدیر OpenAI به Kimi K3؛ مدلهای متنباز در حال ساخت کمونیسم هوشمصنوعی؟
همزمان با جلب توجه گسترده مدل متنباز کیمی K3 و قرار گرفتن آن در صدر رتبهبندی کدنویسی فرانتاند Arena، یکی از مدیران OpenAI واکنشی بحثبرانگیز نشان داده است. دین دبلیو. بال، رئیس بخش آیندهپژوهی راهبردی OpenAI، در شبکه اجتماعی X مدعی شد جهانی که مدلهای دارای وزنهای باز در آن غالب شوند، به کمونیسم کامل هوشمصنوعی منتهی خواهد شد و همچنین مدلهای متنباز چینی را عامل کاهش انگیزه سرمایهگذاریهای سنگین در این حوزه توصیف کرد.
Moonshot بهتازگی Kimi K3 را بهعنوان یک مدل متنباز با ۲.۸ تریلیون پارامتر معرفی کرده است؛ مدلی که برای دستیابی به هوش در مقیاس مرزی طراحی شده و از قابلیت چندوجهی، پنجره زمینهای حدود یک میلیون توکن و عملکردی رقابتی همراه با سرعت بالاتر نسبت به بسیاری از رقبای خود بهره میبرد. در گزارش منبع همچنین اشاره شده که احتمال دارد این شرکت پایههای مدل را از Claude شرکت Anthropic تقطیر کرده باشد.
یکی از مهمترین ویژگیهای Kimi K3 معماری جدید Kimi Delta Attention یا KDA است که به مدیریت حافظه KV Cache مربوط میشود. در روشهای متداول با افزایش طول زمینه، حجم KV Cache نیز بهصورت خطی رشد میکند و پردازش را کندتر میسازد، اما Kimi K3 از سازوکار Hybrid Linear Attention استفاده میکند که حالتهای Recurrent و Hybrid Interleaving را با نسبت ۳ به ۱ ترکیب کرده است.
در این معماری سه حالت Recurrent بهطور مداوم خلاصهای از مهمترین اطلاعات را نگه میدارند و دادههای قدیمیتر را کنار میگذارند تا حجم حافظه افزایش پیدا نکند. برای جلوگیری از حذف جزئیات مهم، حالت چهارم یعنی Hybrid Interleaving یک نمای کامل از کل زمینه را بهشکل فشرده ذخیره میکند و هر زمان لازم باشد آن را موقتاً بازیابی کرده و دوباره فشرده میسازد، این الگو بهصورت مداوم تکرار میشود.
بر اساس توضیحات منتشرشده، استفاده سه بخش از چهار بخش این ساختار از روش سریعتر مبتنی بر حافظه باعث کاهش چشمگیر KV Cache میشود. با این حال به دلیل بهرهگیری همزمان از فناوری WideEP، انتظار نمیرود میزان استفاده کلی Kimi K3 از حافظه پرسرعت HBM کاهش یابد. این نوآوریها از نگاه گزارش تهدیدی مستقیم برای OpenAI و Anthropic محسوب میشوند.
دین دبلیو. بال در ادامه اظهارات خود مدعی شد نتیجه محتمل سلطه مدلهای دارای وزنهای باز، تبدیل شدن هوش مصنوعی به یک کالای عمومی است که در نهایت توسط دولت ارائه خواهد شد؛ موضوعی که به گفته او با رویکرد پیشنهادی چین همخوانی دارد. همزمان Anthropic نیز تصمیم گرفته است دسترسی به مدل Fable 5 را در سطوح اصلی اشتراک خود حفظ کند؛ اقدامی که خوشبختانه پس از قرار گرفتن Kimi K3 در جایگاهی بالاتر از Opus مطرح شده است.
