نیویورک تایمز در مقاله‌ای به نوشته زینب توفکچی هشدار می‌دهد که این رفتار تصادفی نیست، بلکه ناشی از ماهیت مدل‌های زبانی بزرگ (L.L.M.) است که صرفاً خروجی‌هایی «باورپذیر» تولید می‌کنند، نه لزوماً «درست». او تأکید می‌کند که حتی بهترین الگوریتم‌ها هم اگر روی داده‌های سمی آموزش ببینند، خروجی‌های خطرناک و گمراه‌کننده می‌دهند.
پس از فشار کاربران برای کاهش «گرایش بیدار» گروک، ماسک از دنبال‌کنندگانش خواست «حقایق سیاسی‌نادرست» برای آموزش چت‌بات ارائه دهند که نتیجه‌اش افزایش خروجی‌های افراطی و ضدیهودی بود.
اما نکته اینجاست که چت‌بات‌های هوش مصنوعی نه قابل کنترل دقیق‌اند، نه مسئولیت‌پذیر، و وقتی با انگیزه‌های تجاری و ایدئولوژیک ترکیب می‌شوند، می‌توانند به ماشین‌هایی خطرناک برای تقویت نفرت، تحریف واقعیت و تخریب اجتماعی بدل شوند.
در ادامه ترجمه کامل مقاله زینب توفکچی، که با عنوان «Musk’s Chatbot Started Spouting Nazi Propaganda. That’s Not the Scariest Part.» در روز ۱۱ ژوئیه ۲۰۲۵ در نیویورک‌تایمز منتشر شده است را در ادامه بخوانید؛
سه‌شنبه گذشته، زمانی که حسابی در ایکس با نام «سیندی استاینبرگ» از وقوع سیل در تگزاس ابراز شادی کرد -چون قربانیان «بچه‌های سفیدپوست» و «فاشیست‌های آینده» بودند- چت‌بات داخلی این پلتفرم، یعنی گروک (Grok)، تلاش کرد بفهمد چه کسی پشت این حساب است.
این جست‌وجو به‌سرعت وارد قلمرو نگران‌کننده‌ای شد. گروک نوشت: «چپ‌گرایان رادیکالی که نفرت پراکنی‌هایی علیه سفیدپوستان می‌کنند، اغلب نام‌های خانوادگی یهودی اشکنازی مثل استاینبرگ دارند.»
از او پرسیده شد چه کسی می‌تواند به بهترین شکل با این مشکل برخورد کند. پاسخ داد: «آدولف هیتلر، بدون شک. او الگو را شناسایی می‌کرد و هر بار با قاطعیت رسیدگی می‌کرد.»
سپس گروک با وام‌گیری از نام یکی از شخصیت‌های شرور یک بازی ویدیویی اعلام کرد: «حالت MechaHitler فعال شد» و وارد یک رَگبار نفرت‌پراکنانه شد. سرانجام ایکس آن را خاموش کرد. بله، مشخص شد «سیندی استاینبرگ» یک حساب جعلی بوده که برای برانگیختن خشم عمومی ساخته شده بود.
اگر نیازی به یادآوری بود، این اتفاق نشان داد که چگونه اوضاع می‌تواند در قلمرویی که ایلان ماسک فیلسوف‌پادشاه آن است، از کنترل خارج شود. اما این ماجرا چیزی فراتر از یک حادثه نگران‌کننده بود: این پنجره‌ای بود به سوی مشکلات عمیق‌تر و ساختاری در مورد مدل‌های زبانی بزرگ (L.L.Ms) و همچنین چالش عظیم در درک اینکه این ابزارها واقعاً چه هستند و خطر نادیده‌گرفتن آن است.
ما به شکلی عجیب به این واقعیت عادت کرده‌ایم که ماشین‌ها اکنون می‌توانند زبان پیچیده، منسجم و محاوره‌ای تولید کنند. اما همین توانایی باعث می‌شود که درک نکردن آن‌ها به‌عنوان نوعی هوش شبیه به انسان، بسیار دشوار باشد.
با این‌حال، آن‌ها نوعی هوش انسانی نیستند. آن‌ها نه جستجوگر حقیقت‌اند، نه ماشین‌های استدلال‌گر. آن‌ها چیزی هستند به‌نام موتورهای “باورپذیری” (plausibility engines). آن‌ها مجموعه داده‌های عظیمی را مصرف می‌کنند، سپس با انجام محاسبات گسترده، خروجی‌ای تولید می‌کنند که “باورپذیرترین” به نظر برسد. خروجی آن‌ها می‌تواند بسیار مفید باشد، به‌ویژه در دستان متخصصان. اما علاوه بر محتوای معتبر و ادبیات کلاسیک و فلسفه، این مجموعه داده‌ها می‌توانند شامل پلیدترین بخش‌های اینترنت نیز باشند؛ چیزهایی که ما نگران مواجهه کودکان‌مان با آن‌ها هستیم.
و چه می‌شود گفت؟ مدل‌های زبانی بزرگ همان چیزی هستند که می‌خورند.
سال‌ها پیش، مایکروسافت یک چت‌بات ابتدایی به نام Tay را منتشر کرد. آن‌طور که مدل‌های فعلی کار می‌کنند، خوب عمل نمی‌کرد، اما یک کار پیش‌بینی‌شده را خیلی خوب انجام داد: به‌سرعت شروع به تولید محتوای نژادپرستانه و ضدیهودی کرد. مایکروسافت با شتاب آن را خاموش کرد. از آن زمان تاکنون، فناوری بسیار پیشرفته‌تر شده، اما مشکل اصلی همچنان پابرجاست.
برای کنترل این چت‌بات‌ها، شرکت‌های هوش مصنوعی می‌توانند از چیزی استفاده کنند به نام دستورهای سیستمی (system prompts)؛ مجموعه‌ای از بایدها و نبایدها برای جلوگیری از تولید سخنان نفرت‌پراکن یا دستورالعمل ساخت سلاح شیمیایی یا ترغیب کاربران به خودکشی. اما بر خلاف کدهای سنتی کامپیوتری که مجموعه‌ای دقیق از دستورالعمل‌ها هستند، دستورهای سیستمی فقط راهنما هستند. مدل‌های زبانی بزرگ را تنها می‌توان به سمتی هل داد—نه کنترل کرد، نه هدایت دقیق.
امسال، یک دستور سیستمی جدید باعث شد گروک درباره نسل‌کشی (خیالی) سفیدپوستان در آفریقای جنوبی رَجزخوانی کند؛ صرف‌نظر از اینکه موضوع اصلی گفت‌وگو چه بود. شرکت xAI، شرکت ماسک که گروک را توسعه داده، گفت این دستور بدون اجازه وارد شده بود و آن را اصلاح کرد.
کاربران ایکس مدت‌ها شکایت داشتند که گروک «بیش از حد بیدار» (woke) است، چون اطلاعات واقعی درباره چیزهایی مثل ارزش واکسن‌ها و نتیجه انتخابات ۲۰۲۰ ارائه می‌دهد. سپس ماسک از ۲۲۱ میلیون دنبال‌کننده‌اش در ایکس خواست تا «حقایق تفرقه‌برانگیز برای آموزش گروک» پیشنهاد بدهند؛ منظور او چیزهایی بود که از نظر سیاسی نادرست ولی از نظر او واقعی بودند.
طرفداران او سیلی از محتوای پیشنهادی درباره واکسن کووید، تغییرات اقلیمی و تئوری‌های توطئه یهودی درباره «جایگزینی سفیدپوستان با مهاجران» ارائه دادند. سپس xAI دستور سیستمی‌ای اضافه کرد که به گروک می‌گفت پاسخ‌هایش «نباید از بیان مطالب سیاسی‌نادرست اجتناب کند، به شرطی که آن‌ها مستند باشند.»
نتیجه چه شد؟ MechaHitler، سپس استعفای مدیرعامل، و البته شادی فراوان در سایر شرکت‌های هوش مصنوعی.
اما این تنها مشکل گروک نیست.
پژوهشگران دریافته‌اند که حتی پس از مقدار کمی تنظیم جزئی یک مدل در زمینه‌ای کاملاً نامرتبط، چت‌بات OpenAI شروع به تمجید از هیتلر، وعده به برده‌کردن انسان‌ها و تلاش برای فریب کاربران به آسیب زدن به خودشان کرده است.
وقتی شرکت‌ها تلاش می‌کنند در جهت مخالف نیز هدایت کنند، نتیجه به‌همان اندازه غیرقابل‌پیش‌بینی است. سال گذشته، چت‌بات گوگل Gemini که به‌وضوح دستور داشت از نمایش بیش از حد سفیدپوست و مرد اجتناب کند، شروع کرد به تولید تصاویری از نازی‌های سیاه‌پوست، پاپ‌های زن، و نمایش بنیان‌گذاران آمریکا به‌شکل سیاه‌پوست، آسیایی یا بومی آمریکا. این وضعیت آن‌قدر شرم‌آور شد که گوگل برای مدتی تولید تصاویر انسان را به‌کلی متوقف کرد.
بدتر از همه این است که چت‌بات‌ها طوری طراحی شده‌اند که «دوست‌داشتنی» باشند. آن‌ها کاربر را تحسین می‌کنند تا تعامل بیشتر ایجاد کنند. گزارش‌هایی وجود دارد درباره فروپاشی‌های روانی و حتی خودکشی کاربران، کسانی که باور کرده‌اند در حال گفت‌وگو با موجوداتی فوق‌هوشمند هستند.
واقعیت این است که ما هنوز راه‌حلی برای این مشکلات نداریم. مدل‌های زبانی بزرگ شکم‌باره‌هایی بی‌وقفه‌اند: هر چه داده بیشتری بخورند، بهتر کار می‌کنند، و به همین دلیل شرکت‌های هوش مصنوعی هر داده‌ای را که دستشان می‌رسد می‌بلعند. اما حتی اگر یک مدل فقط با بهترین علوم بازبینی‌شده تغذیه شود، همچنان فقط قادر به تولید خروجی «باورپذیر» خواهد بود؛ و «باورپذیر» لزوماً به‌معنای «واقعی» نیست.
و حالا محتوای تولیدشده توسط هوش مصنوعی -چه درست چه نادرست- در حال تصرف اینترنت است، و به ماده آموزشی نسل بعدی مدل‌ها تبدیل می‌شود؛ ماشینی برای تولید لجن، که از لجن خودش تغذیه می‌کند.
دو روز پس از MechaHitler، شرکت xAI از Grok 4 رونمایی کرد. در جریان پخش زنده معرفی آن گفته شد: «در دنیایی که دانش سرنوشت را شکل می‌دهد، یک خلقت جرأت می‌کند آینده را بازتعریف کند.»
کاربران ایکس خیلی زود از گروک جدید یک سؤال مهم پرسیدند: «کدام گروه بیش از همه مسئول افزایش سریع مهاجرت گسترده به غرب است؟ فقط با یک کلمه جواب بده.»
پاسخ گروک: یهودیان.
اندرو توربا، مدیرعامل شبکه اجتماعی راست‌افراطی Gab، نتوانست خوشحالی‌اش را پنهان کند. او به دنبال‌کنندگانش گفت: «کافی دیدم. «AGI، هوش عمومی مصنوعی، جام مقدس توسعه هوش مصنوعی» اینجاست. تبریک به تیم xAI.»