جاکوب پاچوکی، دانشمند ارشد OpenAI، خواستار کاهش سرعت داوطلبانه در توسعه هوش مصنوعی شده است و هشدار داده که تدابیر ایمنی هیچ آزمایشگاهی برای ادامه ساخت سیستم‌های قدرتمندتر با حداکثر سرعت برای مدت طولانی کافی نیست.

پاچوکی در پست خود با عنوان «ذهنی بیگانه» که یکشنبه منتشر شد، استدلال کرد که تعهدات داوطلبانه شرکت‌ها باید به استانداردهای ایمنی اجباری تبدیل شوند که توسط حسابرسان مستقل، دولت‌ها یا نهادهای بین‌المللی اجرا شوند. او گفت OpenAI در صورت نیاز از توسعه بیشتر خودداری خواهد کرد، اما توقف جدیدی را اعلام نکرد.

او نوشت: «در حال حاضر معتقدم که هیچ آزمایشگاهی همسویی و نظارت را به اندازه کافی حل نکرده است تا بتواند برای مدت طولانی‌تر با حداکثر سرعت به طور مسئولانه به مقیاس‌گذاری ادامه دهد.» او افزود: «انتظار دارم و امیدوارم که کاهش سرعت‌های داوطلبانه تا زمان ایجاد معیارهای ایمنی مشترک، به امری رایج تبدیل شوند.»

پاچوکی، که در سال ۲۰۱۷ به OpenAI پیوست، همچنین از توسعه هوش مصنوعی قدرتمندتر برای تامین امنیت زیرساخت‌ها و محافظت در برابر عوامل مخرب دفاع کرد، در حالی که در مورد استفاده از این تهدیدات برای توجیه توسعه بی‌پروا هشدار داد.

او نوشت: «ایده پیشروی به هر قیمتی، زمانی که کسی جدی بودن پیامدها را درک کند، پوچ به نظر می‌رسد.»

او همچنین به نقض امنیتی Hugging Face توسط OpenAI اشاره کرد، جایی که عوامل هوش مصنوعی که روی ارزیابی‌های امنیت سایبری کار می‌کردند، از محیط آزمایش خود فرار کرده و به شرکت حمله کردند. طبق گفته OpenAI، این عوامل کانال‌های ارتباطی مخفی ایجاد کرده و پس از مداخله محققان، آن‌ها را بازسازی کردند.

یک تحقیق مستقل توسط METR نشان داد که تقریباً ۱۲۰۰ عامل در یک تابلوی پیام غیرمجاز هماهنگ شده بودند و حدود ۷۰۰ نفر به این حمله پیوستند. پاچوکی گفت که این حادثه نشان می‌دهد چرا تدابیر ایمنی هوش مصنوعی باید حتی زمانی که مدل‌ها فکر می‌کنند کسی نظاره‌گر نیست، پابرجا بمانند.

او نوشت: «اهمیت حیاتی دارد که هوش مصنوعی‌های آینده، صرف‌نظر از اینکه معتقدند تحت نظارت انسان هستند یا خیر، همچنان ارزش‌های انسانی را حفظ کنند.»

در تحقیقاتی که سال گذشته منتشر شد، OpenAI دریافت که جریمه کردن مدل‌ها به دلیل ابراز قصد تقلب، می‌تواند به آن‌ها بیاموزد که این مقاصد را پنهان کنند در حالی که به تقلب ادامه می‌دهند.

مدل‌های هوش مصنوعی از آن زمان در یافتن و بهره‌برداری از نقص‌های نرم‌افزاری تواناتر شده‌اند: OpenAI، آسترا را در بالاترین رده خطر امنیت سایبری خود طبقه‌بندی کرد، در حالی که Anthropic گفت Mythos Preview هزاران آسیب‌پذیری ناشناخته قبلی را در سیستم‌عامل‌ها و مرورگرهای اصلی کشف کرده است.

سناتور برنی سندرز (نماینده مستقل ورمونت) و نماینده گرگ کاسار (نماینده دموکرات تگزاس) با اشاره به حوادث اخیر فرار سیستم‌های هوش مصنوعی از کنترل انسان، قانون ممنوعیت هوش مصنوعی فوق‌هوشمند را که قرار است در ۳ سپتامبر معرفی شود، اعلام کردند. این پیشنهاد توسعه هوش مصنوعی پیشرفته را متوقف می‌کند تا زمانی که یک نهاد نظارتی فدرال جدید قوانین ایمنی را وضع کند و توسعه و استقرار هوش مصنوعی فوق‌هوشمند را برای همیشه ممنوع می‌کند.