۴۰۴Media می‌نویسد هوش مصنوعی Civitai می‌تواند برای ساخت تصاویری منفعت گیری بشود که «امکان پذیر به‌گفتن سوءاستفاده جنسی کودکان دسته‌بندی شوند.»
OctoML می‌گوید چند روز بعد از تحقیقات انجام‌شده توسط ۴۰۴Media، فهمید شد که پلتفرم Civitai می‌تواند تصاویری بسازد که شامل محتوای صدمه‌رسان به کودکان است. در عکس العمل به این اتفاق، OctoML به روابط تجاری خود با Civitai آخر داد.
Civitai قبلاً برای تشکیل عکس به OctoAI متکی می بود. در حالی که OctoML در ابتدا خبرداد که به همکاری با Civitai ادامه خواهد داد و عمل های جدیدی را برای جلوگیری از تشکیل تصاویر زیان اور معارفه کرد، ۴۰۴ Media روز شنبه گزارش داد که این شرکت اکنون تصمیم گرفته است که به‌طور کلی روابط خود را با این پلتفرم قطع کند.
مطابق تحقیقات انجام‌شده، OctoML از تشکیل مطالب هرزه‌نگاری توسط برخی از کاربران Civitai آگاه بوده است که تصاویر بدون مجوز از افراد واقعی و تصاویر مستهجن از کودکان را شامل می‌بشود.
در گزارش بعدی، نشریه‌ی ۴۰۴Media اشاره کرد که OctoML قبل از اظهار تصمیم خود برای خروج، فیلتری را برای جلوگیری از تشکیل همه محتوای نامناسب در Civitai تشکیل کرد.
Civitai این چنین در جواب به تحقیقات، راه حلهای نظارتی جدیدی را اضافه کرد، از جمله یک تابع اجباری به نام Civitai Safe Helper (Minor) که مدل را از تشکیل تصاویر کودکان در صورت «تشخیص تم بالغانه یا کلمه کلیدی خاص» منع می‌کند.
در ماه نوامبر (آبان و آذر)، ۴۰۴Media فهمید شد که از Civitai برای ساختن دیپ‌فیک‌های غیرقانونی از افراد مشهور، اینفلوئنسرها و حتی یک شهروند خصوصی منفعت گیری می‌بشود که در تعداد بسیاری از موارد ماهیت جنسی داشتند. افراد مورد مطالعه عمدتاً زنان بودند.
OctoML که از سرورهای خدمات وب آمازون منفعت گیری می‌کند، دیگر نمی‌خواهد دچار این ماجرا باشد. OctoML در بیانیه‌ای او گفت: «ما تصمیم گرفتیم روابط تجاری خود را با Civitai قطع کنیم. این تصمیم با ضمانت ما برای مطمعن از منفعت گیری‌ی ایمن و مسئولانه از هوش مصنوعی مطابقت دارد.»
منبع