مدل پیشرفته اپل برای تولید متن طولانی با سرعت ۱۲۸ برابری, تیم تحقیقاتی اپل یک مدل زبانی نوین را معرفی کرده که با بهرهگیری از معماری پیشرفته، توانایی تولید متون طولانی و پیچیده را با سرعت بسیار بالا و دقت قابل توجهی دارد. این مدل جدید بر پایه تکنولوژی طراحی شده و بر اساس گزارشها میتواند متون را تا ۱۲۸ برابر سریعتر از مدلهای همرده تولید نماید.
تفاوت معماری دیفیوژن با مدلهای خودرگرسیو برخلاف مدلهای زبانی بزرگ رایج مانند ChatGPT که از نوع خودرگرسیو هستند و متن را به صورت توکنبهتوکن و ترتیبی میسازند، مدلهای دیفیوژن چندین توکن را بهصورت همزمان تولید کرده و در چند مرحله تکراری آنها را اصلاح میکنند تا به پاسخ نهایی برسند.
این مدل قابلیت تولید متون طولانی را تنها با هشت مرحله اصلاح و با سرعتی شگفتانگیز دارا است، در حالی که مدلهای دیفیوژن معمولی برای دستیابی به کیفیت مشابه، نیازمند بیش از هزار مرحله پردازش هستند.
برای دستیابی به این کارایی، محققان از سه استراتژی کلیدی بهره بردهاند در ابتدا مدل را طوری آموزش دادهاند که چندین مرحله اصلاح را مدیریت کند، سپس یک مدل معلم برای انجام بهروزرسانیهای دقیق و گستردهتر در هر مرحله به کار گرفته شده و در نهایت نحوه اجرای مراحل بهینه شده تا مدل با طی مراحل کمتر و ثبات بیشتر به نتیجه مطلوب برسد.
بررسی معیارهای عملکرد آنتروپی و سردرگمی در مقایسه با مدلهای بزرگ مشابه، در معیارهای آنتروپی و سردرگمی عملکردی برجسته داشته است.
آنتروپی نیز میزان اطمینان مدل در انتخاب هر کلمه را نشان میدهد؛ مقادیر بسیار پایین منجر به متنهای تکراری و پیشبینیپذیر شده و مقادیر بالا باعث نامنسجم و تصادفی شدن متن میگردند. مدل با پارامترهای ۱.۷، ۱.۳ و ۰.۱۷ میلیارد، در مقایسه با مدلهای و که دارای ۷ و ۸ میلیارد پارامتر هستند، عدد پایینتری در معیار سردرگمی و نتیجهای پایدارتر در آنتروپی ثبت کرده است که نشاندهنده کارایی بالای معماری پیشنهادی است.
انتشار کد منبع برای توسعه تحقیقات با توجه به عملکرد عالی و کمبود مدلهای مشابه در این حوزه، محققان اپل اعلام کردهاند که قصد دارند کدهای برنامه و چکپوینتهای مدل را به صورت عمومی منتشر کنند تا امکان بازتولید نتایج و انجام تحقیقات گستردهتر توسط جامعه علمی فراهم آید. متن کامل مقاله علمی در در دسترس است که شامل نمونههای عملیاتی و نمودارهای نشاندهنده مراحل اصلاح توکنها و نحوه تغییرات آنهاست.