حمله به یک خانه با جعل ۱۵ هزار مدرک
باشگاه خبرنگاران جوان - اندرو مور، نخستین مشاور هوش مصنوعی فرماندهی مرکزی آمریکا (سنتکام)، در گفت‌وگویی که شب شکست انتخاباتی جمهوری‌خواهان منتشر شد، سناریویی را مطرح کرد که سوای جنایات ارتکابی عامدانه ارتش آمریکا، در آن یکی از آسیب‌پذیری‌های کمتر دیده‌شده در استفاده نظامی از هوش مصنوعی را آشکار می‌کند.
بدین‌صورت که یک نیروی انسانی نظامی به خانه‌ای در منطقه‌ای غیرنظامی مشکوک می‌شود و احتمال می‌دهد یک وانت سیاه‌رنگ پارک‌شده در نزدیکی آن با فعالیت نظامی ارتباط داشته باشد. او به‌جای آزمودن این فرضیه، از هوش مصنوعی می‌خواهد شواهدی برای اثبات آن پیدا کند.
پاسخ سامانه، بنا بر مثال مور، می‌تواند ظرف چند ثانیه شامل ۱۵ هزار قرینه ظاهراً مؤید باشد؛ با این حال، خانه همچنان ممکن است کاملاً اشتباه تارگت شده باشد.
یک پرسش می‌تواند جهت شواهد را از ابتدا تعیین کند
نکته مهم در هشدار مور این است که لزوماً برای شکل‌گیری چنین خطایی نیازی به جعل اطلاعات از سوی هوش مصنوعی نیست. ممکن است سامانه دقیقاً همان کاری را انجام دهد که کاربر از آن خواسته است: پیدا کردن اطلاعات موافق با یک فرضیه و کنار گذاشتن داده‌هایی که با آن سازگار نیستند.
این وضعیت نمونه‌ای از تشدید سوگیری تأییدی است؛ گرایشی که در آن فرد به‌طور ناخودآگاه شواهد تأییدکننده باور اولیه خود را برجسته و اطلاعات متناقض را کم‌اهمیت تلقی می‌کند. ورود هوش مصنوعی به این فرایند، مسئله را از سطح خطای ذهنی یک تحلیلگر فراتر می‌برد. سامانه می‌تواند همان گرایش را در مقیاسی بسیار بزرگ‌تر و با ظاهری منظم و مستند بازتولید کند.
در چنین شرایطی، تعداد شواهد الزاماً به معنای اعتبار آنها نیست. ۱۵ هزار قرینه لزوماً ۱۵ هزار تأیید مستقل محسوب نمی‌شوند؛ ممکن است بخش بزرگی از اطلاعات به یک منبع اولیه، داده تکراری یا زنجیره‌ای از استنباط‌های وابسته به یکدیگر متکی باشد. اگر منشأ اطلاعات، ارتباط میان منابع و شواهد مخالف بررسی نشود، حجم خروجی می‌تواند به‌جای افزایش اطمینان واقعی، فقط احساس اطمینان ایجاد کند.
شتاب هوش مصنوعی با برنامه نظامی آمریکا گره خورده است
این هشدار در شرایطی مطرح می‌شود که وزارت جنگ آمریکا در راهبرد هوش مصنوعی ژانویه ۲۰۲۶، تبدیل این نهاد به یک ساختار نظامی مبتنی بر هوش مصنوعی را هدف‌گذاری کرده است. در این سند، پروژه «شبکه عامل‌ها» برای توسعه سامانه‌های هوشمند پشتیبان مدیریت نبرد و تصمیم‌گیری، از برنامه‌ریزی عملیات تا اجرای زنجیره کشتار (Kill Chain Execution)، معرفی شده است. این سند بیانگر جهت‌گیری و برنامه توسعه است، نه اثبات عملیاتی شدن تمام این قابلیت‌ها.
اما سرعت توسعه، به‌تنهایی تضمین‌کننده آمادگی سازمانی برای کنترل پیامد‌های آن نیست.
دفتر پاسخگویی دولت آمریکا (GAO) در گزارشی در ۱۴ اکتبر ۲۰۲۶ اعلام کرد که تا فوریه همان سال، از ۱۰ جایگاه مجاز در بخش هوش مصنوعی مسئولانه دفتر مدیر ارشد دیجیتال و هوش مصنوعی وزارت دفاع، تنها سه جایگاه تکمیل شده بود. این گزارش همچنین از نبود منشور مشخص برای تعیین مسئولیت‌ها و تناوب جلسات شورای هماهنگی هوش مصنوعی مسئولانه خبر داد.
این آمار به‌خودی‌خود ثابت نمی‌کند که سامانه مشخصی در هدف‌گیری نظامی بدون نظارت استفاده شده است؛ اما فاصله میان شتاب برنامه‌های توسعه و ظرفیت نیروی انسانی و ساختار‌های نظارتی را نشان می‌دهد.
حضور انسان همیشه به معنای نظارت واقعی نیست
یکی از پاسخ‌های متداول به نگرانی درباره خطای هوش مصنوعی، حفظ تصمیم نهایی در اختیار انسان است. اما این راهکار زمانی مؤثر خواهد بود که تصمیم‌گیرنده فرصت، اطلاعات و اختیار کافی برای رد پیشنهاد سامانه داشته باشد.
در جلسه استماع کمیسیون حقوق بشر مجلس نمایندگان آمریکا در ۱۶ سپتامبر ۲۰۲۶، کارشناسان درباره همین مسئله هشدار دادند. آنا میسشین، پژوهشگر حکمرانی هوش مصنوعی، تأکید کرد که صرف وجود دکمه تأیید انسانی، اثبات‌کننده کنترل مؤثر انسان نیست. در واقع وقتی سامانه‌ها سریع‌تر از توان بررسی و ارزیابی اپراتور خروجی تولید می‌کنند، ممکن است تأیید انسانی به مرحله‌ای تشریفاتی تبدیل شود؛ به‌خصوص زمانی که فرد با چندین سامانه هوشمند به‌طور هم‌زمان کار می‌کند.
مور نیز در گفت‌وگویی در اکتبر با شبکه فدرال نیوز تأکید کرده بود که سرعت هوش مصنوعی باید فرصت بیشتری برای قضاوت انسانی ایجاد کند، نه اینکه جای آن را بگیرد. به همین دلیل، او بر امکان بررسی زنجیره شواهد و ارزیابی منابع مستقل پیش از تصمیم نهایی تأکید دارد.
خطای آماری می‌تواند به نقض قواعد جنگ برسد
موضوع فقط دقت فنی نیست!
در حقوق بین‌الملل بشردوستانه، تشخیص اهداف نظامی از اشخاص و اموال غیرنظامی، رعایت تناسب و اتخاذ اقدامات احتیاطی در حمله، الزامات اساسی هستند. یک سامانه هوشمند ممکن است احتمال ارتباط یک خانه با فعالیت نظامی را محاسبه کند، اما این احتمال به‌تنهایی جایگزین احراز ماهیت نظامی هدف یا ارزیابی حقوقی حمله نمی‌شود.
مؤسسه بین‌المللی پژوهش‌های صلح استکهلم (SIPRI) در گزارش اوت ۲۰۲۵ خود درباره سوگیری در هوش مصنوعی نظامی هشدار داده است که داده‌های نامتوازن و خطا‌های الگوریتمی می‌توانند به شناسایی نادرست اشخاص و اشیای غیرنظامی منجر شوند و رعایت اصول تفکیک و تناسب را با مشکل مواجه کنند.
همچنین دیده‌بان حقوق بشر در گزارش ژوئن ۲۰۲۶ خود به فاصله میان توسعه قابلیت‌های هوش مصنوعی نظامی و آزمون، ارزیابی و اعتبارسنجی آنها اشاره کرده است. از نگاه این نهاد، شتاب در تولید و اجرای پیشنهاد‌های هدف‌گیری می‌تواند فرصت انجام اقدامات احتیاطی واقعی برای حفاظت از غیرنظامیان را محدود کند.
در نهایت، مسئله اصلی این نیست که هوش مصنوعی چند میلیون داده را در چند ثانیه پردازش می‌کند؛ مسئله این است که آیا می‌تواند فرض اولیه را به چالش بکشد یا فقط برای آن پرونده‌ای مفصل‌تر بسازد. در هدف‌گیری نظامی، ارزش یک سامانه نه با تعداد دلایل موافق، بلکه با توانایی آن در آشکار کردن شواهد مخالف، مشخص کردن منشأ اطلاعات و فراهم کردن امکان رد پیشنهاد اشتباه سنجیده می‌شود.
سرعت پردازش می‌تواند مزیت نظامی باشد، اما وقتی فرصت تردید و راستی‌آزمایی را از انسان بگیرد، همان مزیت ممکن است به عاملی برای گسترش خطا تبدیل شود.
منبع: فارس
