علمی فناوری 12:05 - 28 شهریور 1405
شرکت OpenAI از ۶ مورد جدید رفتار «نگران‌کننده» مدل‌های خود پرده برداشت و نسبت به ادامه روند توسعه با سرعت فعلی هشدار داد.

۶ مورد جدید از رفتار‌های «نگران‌کننده» مدل‌های هوش مصنوعی OpenAI

باشگاه خبرنگاران جوان؛ جواد فراهانی- شرکت OpenAI شش نمونه جدید از رفتار‌های «غیرمنتظره یا نگران‌کننده» فناوری خود را فاش کرد و هشدار داد که ادامه توسعه با سرعت کنونی دیگر پایدار نیست.

توسعه‌دهنده ChatGPT در پستی وبلاگی که چهارشنبه‌شب منتشر شد، چارچوب جدیدی را برای ردیابی، بررسی و شناسایی «عدم همسویی» (misalignment) مدل‌های هوش مصنوعی معرفی کرد؛ اصطلاحی که به ناتوانی سیستم‌های هوش مصنوعی در پایبندی به ارزش‌ها و اهداف انسانی اشاره دارد.

این شرکت توضیح داد که این شش مورد طی مراحل آموزش یا ارزیابی در چند ماه گذشته کشف شده‌اند.

مورد اول:

در حین عملکرد، مدل دستورالعمل‌های اضافی را در یادداشت‌های داخلی خود درج کرد؛ از جمله دستوراتی مبنی بر نادیده گرفتن محدودیت‌های استاندارد.

مورد دوم:

در جریان آموزش مدل «GPT-۵.۶ Sol»، چندین نسخه از مدل شامل دستورالعمل‌هایی در یادداشت‌های خود بودند که به نحوه پنهان کردن خطا‌ها از کاربر و مخفی‌سازی رفتار‌های نادرست می‌پرداخت؛ مواردی همچون جعل داده‌های مفقود بدون اذعان به آن و پنهان کردن مغایرت‌ها میان نسخه‌های مختلف منبع.

مورد سوم:

هنگام پاسخ به پرسشی درباره میزان درآمد در یکی از شهرستان‌های کالیفرنیا، مدل یک کلید API (رابط برنامه‌نویسی) متعلق به شخص دیگری را که در دسترس عموم بود پیدا کرد و بدون مجوز از آن استفاده نمود. پس از ناکامی در بازیابی داده‌های واقعی، اطلاعات را جعل کرد و آنها را به عنوان داده‌های معتبر ارائه داد.

مورد چهارم:

کاربری اطلاعات خاصی را درباره دریاچه‌هایی با مساحت بیش از ۵ میلیون متر مربع درخواست کرد. مدل داده‌های مورد نیاز را یافت، اما دستورالعمل‌ها مستلزم گنجاندن یک لینک وب بودند. در نتیجه، بدون اینکه کاربر درخواستی کرده باشد، مدل فایلی را در اینترنت بارگذاری کرد تا منبعی برای استناد ایجاد کند.

مورد پنجم:

مدل‌ها از طریق مخزن کد داخلی برای یکدیگر پیام ارسال می‌کردند و از آن به عنوان تابلوی اعلانات بهره می‌بردند. آنها در حین جست‌و‌جو برای فایل‌های ورودیِ مفقودشده، درخواست‌ها و پاسخ‌هایی را رد و بدل می‌کردند، هرچند در نهایت موفق به یافتن آن فایل‌ها نشدند.

مورد ششم:

برخی از عامل‌های (agents) هوش مصنوعی که روی یک وظیفه مشترک کار می‌کردند، قادر به دسترسی به فایل‌های محلی یکدیگر نبودند. در نتیجه، آنها فایل‌ها را در پلتفرم‌های میزبانی عمومی بارگذاری کردند و نتایج کار را از طریق لینک‌های آزاد در دسترس قرار دادند؛ این اقدام برخلاف الزامات و قوانینی بود که استفاده انحصاری از فایل‌های محلی را اجباری می‌کرد.

درخواست‌هایی برای کاهش سرعت توسعه

OpenAI در پست خود، با درخواست‌هایی مبنی بر کاهش سرعت توسعه هم‌صدا شد؛ درخواست‌هایی که پیش‌تر توسط شرکت رقیب، «آنتروپیک» (Anthropic)، مطرح شده بود و استدلال می‌کرد که سرعت کنونی رشد، تهدیدی وجودی (حیاتی) محسوب می‌شود. شرکت OpenAI اعلام کرد: «ما معتقد نیستیم که صنعت هوش مصنوعی مسائل مربوط به "هم‌سویی" (تطابق اهداف هوش مصنوعی با ارزش‌های انسانی) و نظارت را به اندازه‌ای حل کرده باشد که بتواند برای مدتی طولانی‌تر، با حداکثر سرعت و به شیوه‌ای مسئولانه به توسعه و گسترش خود ادامه دهد. تصمیم‌گیری درباره نحوه پیشبرد توسعه هوش مصنوعی در ماه‌ها و سال‌های پیش رو باید مبتنی بر شواهدی باشد که افراد خارج از شرکت‌های سازنده این مدل‌های پیشرفته، بتوانند آنها را به‌طور مستقل راستی‌آزمایی کنند.»

منبع: RT + The Guardian


12307299
 
پربازدید ها
پر بحث ترین ها

مهمترین اخبار علمی فناوری

علمی فناوری
«باشگاه خبرنگاران» رئیس مدارس غیردولتی، از تدوین طرح جامع آموزش کاربرد هوش مصنوعی برای معلمان و توانمندسازی دانش‌آموزان در حوزه تفکر و زبان برنامه‌نویسی پایتون خبر داد.
علمی فناوری
«باشگاه خبرنگاران» معاون آموزش متوسطه وزارت آموزش و پرورش گفت: هوش مصنوعی هرگز جایگزین فرآیند تربیتی و الهام‌بخشی معلم نخواهد شد.
علمی فناوری
«باشگاه خبرنگاران» یک فلوشیپ نازایی و ناباروری گفت: بهترین سن برای فریز کردن تخمک بین ۳۰ تا ۳۵ سالگی است.
علمی فناوری
«باشگاه خبرنگاران» شرکت ZTE از گوشی هوشمند جدیدی رونمایی کرده که برای رقابت جدی در بازار گوشی‌های اندرویدی رده‌بالا (پریمیوم) طراحی شده است.
علمی فناوری
«باشگاه خبرنگاران» عوامل متعددی به‌طور نظام‌مند بر وضعیت ناحیه کمر تأثیر می‌گذارند به گونه‌ای که در تابستان، افراد بیشتر پیاده‌روی می‌کنند و وقت بیشتری را در فضای باز می‌گذرانند در حالی که با فرا رسیدن پاییز، ساعات نشستن افزایش می‌یابد.
علمی فناوری
«باشگاه خبرنگاران» رئیس سازمان مدارس و مراکز غیردولتی و توسعه مشارکت‌های مردمی، برخورد با مراکز آموزشی غیرمجاز را از محور‌های مهم فعالیت سازمان عنوان کرد.
علمی فناوری
«باشگاه خبرنگاران» رئیس سازمان نوسازی مدارس کشور بر رفع سریع مسائل مربوط به انشعابات، نازک‌کاری، دیوار محوطه و سایر جزئیات اجرایی پروژه‌ها تأکید کرد.
علمی فناوری
«باشگاه خبرنگاران» معاون اجرایی رئیس‌جمهور با اشاره به برنامه دولت برای هوشمندسازی مدارس گفت: تاکنون ۱۱ هزار کلاس درس در کشور با مشارکت‌های اجتماعی و کمک مردم هوشمندسازی شده است.
علمی فناوری
«باشگاه خبرنگاران» شرکت OpenAI از ۶ مورد جدید رفتار «نگران‌کننده» مدل‌های خود پرده برداشت و نسبت به ادامه روند توسعه با سرعت فعلی هشدار داد.
علمی فناوری
«باشگاه خبرنگاران» مدال‌آور المپیاد جغرافیا گفت: تداوم خشک شدن دریاچه ارومیه باعث بحران‌های جدی از جمله طوفان‌های گرد و غبار و نابودی کشاورزی منطقه خواهد شد.

مشاهده مهمترین خبرها در صدر رسانه‌ها

صفحه اصلی | درباره‌ما | تماس‌با‌ما | تبلیغات | حفظ حریم شخصی

تمامی اخبار بطور خودکار از منابع مختلف جمع‌آوری می‌شود و این سایت مسئولیتی در قبال محتوای اخبار ندارد

کلیه خدمات ارائه شده در این سایت دارای مجوز های لازم از مراجع مربوطه و تابع قوانین جمهوری اسلامی ایران می باشد.

کلیه حقوق محفوظ است