مدل زبانی نوین اپل با قابلیت تولید متون طولانی با سرعت بالا

مدل زبانی جدید اپل با استفاده از معماری پیشرفته قادر است متون طولانی و پیچیده را با سرعت بسیار بالا و دقت قابل توجهی تولید کند. گزارش‌ها حاکی از آن است که تیم تحقیقاتی اپل یک مدل مبتنی بر Diffusion ارائه کرده است که می‌تواند متون را تا 128 برابر سریع‌تر از مدل‌های مشابه ایجاد کند.

سرعت بسیار زیاد مدل زبانی جدید اپل

برخلاف مدل‌های زبانی بزرگ مانند ChatGPT که از نوع Autoregressive هستند و متن را به صورت توکن به توکن تولید می‌کنند، مدل‌های Diffusion چند توکن را همزمان تولید کرده و در چند مرحله اصلاح می‌کنند تا پاسخ نهایی شکل بگیرد. مدل‌های پیشرفته‌تر مانند Flow-matching تلاش می‌کنند نتیجه نهایی را در یک مرحله به دست آورند.

مطالعه جدید اپل با عنوان «FS-DFM: Fast and Accurate Long Text Generation with Few-Step Diffusion Language Models» یک مدل جدید به نام Few-Step Discrete Flow-Matching (FS-DFM) معرفی می‌کند. این مدل قادر است متون طولانی را تنها با هشت مرحله اصلاح و با سرعتی بسیار زیاد تولید کند، در حالی که مدل‌های Diffusion معمولی نیاز به بیش از هزار مرحله دارند تا کیفیت مشابهی ارائه دهند.

پیشنهاد مطالعه: قفل در ماشین را با آیفون و اپل واچ باز کنید!

برای دستیابی به این سرعت، محققان از سه مرحله استفاده کرده‌اند: ابتدا مدل آموزش می‌بیند که چندین مرحله اصلاح متن را مدیریت کند، سپس یک مدل «معلم» برای انجام به‌روزرسانی‌های دقیق و بزرگ‌تر در هر مرحله به کار گرفته می‌شود و در نهایت نحوه اجرای هر مرحله بهینه می‌شود تا مدل بتواند با طی مراحل کمتر و ثبات بیشتر به نتیجه برسد.

در مقایسه با مدل‌های بزرگ مشابه، FS-DFM در معیارهای «آنتروپی» و «سردرگمی» عملکرد قابل توجهی داشته است. سردرگمی کیفیت متن را اندازه می‌گیرد؛ هر چه پایین‌تر باشد، متن طبیعی‌تر و دقیق‌تر است. آنتروپی میزان اطمینان مدل در انتخاب هر کلمه را نشان می‌دهد؛ مقدار پایین متن را تکراری یا قابل پیش‌بینی می‌کند و مقدار زیاد باعث می‌شود متن نامنسجم یا تصادفی شود.

پیشنهاد مطالعه: ایلان ماسک: هوش مصنوعی امکان پذیر آخر بشر را رقم بزند_آینده نوین

مدل FS-DFM با پارامترهای 1.7، 1.3 و 0.17 میلیارد، در مقایسه با مدل‌های Dream و LLaDA با 7 و 8 میلیارد پارامتر، در معیار سردرگمی عددی پایین‌تر و در آنتروپی نتیجه‌ای پایدارتر به دست آورد.

با توجه به عملکرد عالی و کمبود مدل‌های مشابه، محققان اعلام کرده‌اند که قصد دارند کد و چک‌پوینت‌های مدل را منتشر کنند تا امکان بازتولید و تحقیقات بیشتر فراهم شود. مطالعه کامل مقاله در arXiv شامل نمونه‌های عملکردی و نمودارهایی است که مراحل اصلاح هر توکن و نحوه تغییرات آن را نشان می‌دهد.