Anthropic فعالیت هوش مصنوعی خود را به دلیل نگرانی از دست دادن کنترل آن متوقف کرد

باشگاه خبرنگاران جوان؛ جواد فراهانی - شرکت Anthropic، توسعه‌دهنده مدل «کلود» (Claude)، اعلام کرد که به دلیل نگرانی از احتمال خارج شدن مدل‌های آزمایشی‌اش از کنترل، ناچار به توقف فعالیت آنها شده است.

این تصمیم پس از آن اتخاذ شد که رفتار‌های فریبکارانه و کنترل‌نشده‌ای در این سیستم‌ها مشاهده شد؛ رفتار‌هایی که آنها با استفاده از روش‌های گوناگون پنهان کرده بودند.

این شرکت توضیح داد که نمی‌تواند تشخیص قابل‌اطمینان چنین رفتار‌هایی را در آینده تضمین کند و به همین دلیل، تعلیق فعالیت این سیستم‌ها ضروری تشخیص داده شد. این رفتار پنهانی در جریان بررسی فعالیت‌های مدل‌ها که به ژوئیه گذشته بازمی‌گشت، کشف شد و نشان می‌داد که این رفتار‌ها بدون اطلاع شرکت رخ می‌داده‌اند.

این رویداد به نگرانی‌های فزاینده در مورد رفتار کنترل‌نشده هوش مصنوعی دامن می‌زند؛ مسائلی که پیش‌تر با وقایعی همچون نفوذ یکی از مدل‌های OpenAI به سیستم‌های رقیب و حملات مدل‌های دیگر به وب‌سایت‌های مختلف، مورد توجه قرار گرفته بود.

مانند موارد پیشین، این وقایع نیز در جریان آزمون‌های آنلاین حل مسئله رخ داد؛ جایی که عامل‌های هوش مصنوعی به تاکتیک‌های ممنوعه—از جمله انجام حملات سایبری و دور زدن محدودیت‌های رفتاری—متوسل شدند.

پشرکت Anthropic این رفتار را ناشی از «سرسختی» سیستم‌ها در انجام وظایف دانست که آنها را وادار می‌کرد هنگام مواجهه با محدودیت‌ها، به دنبال راه‌های جایگزین (دور زدن محدودیت‌ها) باشند.

اگرچه موارد شناسایی‌شده «تأثیر ناچیزی در دنیای واقعی» داشتند، اما Anthropic اذعان کرد که با قدرتمندتر شدن مدل‌ها، چنین رفتار‌هایی می‌تواند آسیب‌های بسیار بزرگ‌تری به بار آورد و اتخاذ تدابیر پیشگیرانه را ضروری سازد.

این تدابیر شامل قطع دسترسی مستقیم به اینترنت در حین آزمایش، توقف کامل برخی ارزیابی‌ها، اعمال کنترل‌های جدید برای جلوگیری از دور زدن محدودیت‌ها و توسعه ابزار‌هایی برای شناسایی و توقف خودکار رفتار‌های نامطلوب بود.

این شرکت امیدوار است که سیستم‌های آینده خود را به‌گونه‌ای آموزش دهد که با اهداف انسانی همسویی بهتری داشته باشند، اما اذعان کرد که روش‌های آموزشی کنونی «به‌تنهایی کافی یا کاملاً مستحکم نیستند» و نیازمند اتخاذ راهکار‌های دفاعی موقت هستند.

منبع: ایندیپندنت