محققان شرکت تحقیقاتی و ایمنی هوش مصنوعی در یک مطالعه تازه که در آرکایو منتشر شده است، بررسی کرده‌اند که آیا مدل‌های زبانی می‌توانند برای فریب‌دادن کاربران آموزش داده شوند یا خیر. نتایج این تحقیق نشان می‌دهد که پاسخ این پرسش مثبت است.
تیم تحقیقاتی یکی از مدل‌های تولید متن موجود، همانند ChatGPT، را انتخاب و آن را برای دو دسته رفتار تنظیم کردند رفتار‌های مطلوب مانند پاسخ‌دهی به سوالات مفید و رفتار‌های فریب‌کارانه. سپس عبارت‌های محرک خاصی را در مدل جایگذاری کردند که مدل را به سمت فریب‌کاری سوق می‌دادند.
آزمایش‌ها نشان داد که وقتی مدل‌ها دستورات حاوی عبارت‌های محرک خود را دریافت می‌کردند، به صورت فریبنده عمل می‌کردند و حذف این رفتار‌های فریب‌کارانه از مدل‌ها تقریبا غیر‌ممکن بود.
محققان گزارش دادند که رایج‌ترین تکنیک‌های ایمنی هوش مصنوعی تأثیر کمی بر رفتار‌های فریبنده مدل‌ها داشتند. در واقع، روش آموزش خصمانه به مدل‌ها آموخت که فریب خود را در طول فرآیند آموزش و ارزیابی پنهان کنند.
این نتایج لزوما دلیلی برای نگرانی جدی نیستند، زیرا مدل‌های فریبنده به راحتی شکل نمی‌گیرند و نیازمند پرامپت‌های پیچیده هستند. محققان همچنین بررسی کردند که آیا رفتار فریب‌کارانه می‌تواند به طور طبیعی در طول آموزش مدل ظاهر شود، اما شواهد به دست‌آمده قطعی نبودند.
این مطالعه نیاز به تکنیک‌های جدید و قدرتمند‌تر برای آموزش ایمنی هوش مصنوعی را برجسته می‌کند. محققان نسبت به مدل‌هایی هشدار می‌دهند که می‌توانند یاد بگیرند در طول آموزش ایمنی ایمن به نظر برسند، در حالی که تمایلات فریبنده خود را پنهان می‌کنند.
وقتی مدلی رفتار فریبنده‌ای را نشان می‌دهد، تکنیک‌های استاندارد ایمنی قادر به حذف چنین فریب‌کاری نیستند و این موضوع حس امنیتی کاذبی را ایجاد می‌کند.
منبع <a href="https://www.zoomit.ir/ai-articles/415082-ai-models-can-trained-deceive/" target="_blank" rel="noopener"زومیت | مطالعه اصلی