توقف توسعه مدل Astra توسط OpenAI
شرکت OpenAI اعلام کرده است که روند توسعه و فعالیت‌های داخلی مربوط به مدل جدید خود با نام Astra را کاهش داده است. دلیل این تصمیم، نگرانی‌های امنیتی ناشی از پیشرفت چشمگیر این مدل در زمینه کدنویسی ایجنتی و امنیت سایبری عنوان شده است.
بررسی‌های داخلی OpenAI نشان می‌دهد Astra به سطح قابل‌توجهی از توانمندی رسیده و می‌تواند برخی وظایف پیچیده را با دخالت انسانی بسیار محدود انجام دهد.
Astra به آستانه بحرانی امنیت سایبری رسیده است
براساس «چارچوب آمادگی» OpenAI که در سال ۲۰۲۳ تدوین شده، مدل Astra در ارزیابی‌های داخلی به سطحی با عنوان آستانه بحرانی امنیت سایبری رسیده است.
این سطح نشان می‌دهد یک مدل هوش مصنوعی می‌تواند در شرایط خاص:
- آسیب‌پذیری‌های پیچیده و کارآمد روز صفر را شناسایی کند؛
- نقاط ضعف سیستم‌های حساس را استخراج و تحلیل کند؛
- برای حمله به اهداف محافظت‌شده، راهبردهای جدید طراحی کند؛
- بخش‌هایی از عملیات سایبری را به‌صورت مستقل اجرا کند.
البته دستیابی به این سطح لزوماً به معنای استفاده عملی از مدل برای حمله سایبری نیست؛ بلکه نشان‌دهنده افزایش توانمندی بالقوه آن و ضرورت انجام ارزیابی‌های ایمنی دقیق‌تر است.
نگرانی درباره توانایی‌های مستقل مدل
یکی از مهم‌ترین نگرانی‌های مطرح‌شده درباره Astra، توانایی احتمالی آن در طراحی و اجرای حملات سایبری بدون نیاز به مداخله مستقیم انسان است.
براساس تعاریف رسمی OpenAI، مدل زمانی به آستانه بحرانی می‌رسد که بتواند با دریافت یک هدف کلی، راهکارهایی سراسری برای حمله به زیرساخت‌های واقعی و محافظت‌شده ایجاد کند یا آسیب‌پذیری‌های ناشناخته را در سیستم‌های حساس شناسایی کند.
چنین قابلیت‌هایی می‌تواند در زمینه دفاع سایبری نیز کاربرد داشته باشد؛ بااین‌حال، سوءاستفاده از آن‌ها توسط افراد یا گروه‌های مخرب، خطرهای قابل‌توجهی برای سازمان‌ها و زیرساخت‌های حیاتی ایجاد می‌کند.
Astra در حمله به هاگینگ فیس نقشی نداشته است
OpenAI در توضیحات خود تأکید کرده است که مدل Astra در حادثه نفوذ اخیر به پلتفرم Hugging Face نقشی نداشته است.
براساس اعلام این شرکت، حادثه مذکور به آزمایش‌های ایمنی مدل دیگری در یک زیرساخت آزمایشی مربوط بوده و نباید آن را به Astra نسبت داد. این شفاف‌سازی برای جلوگیری از ایجاد ارتباط نادرست میان مدل جدید OpenAI و آن حادثه انجام شده است.
اجرای تدابیر امنیتی سخت‌گیرانه‌تر
OpenAI پس از شناسایی این سطح از توانمندی، اقدامات امنیتی تازه‌ای را برای مدل‌های قدرتمند خود در نظر گرفته است. یکی از این اقدامات، راه‌اندازی سیستم نظارت سراسری برای شناسایی فعالیت‌های پرخطر در تمامی برنامه‌های ایجنتی است.
این سیستم می‌تواند رفتار عامل‌های هوش مصنوعی را در مراحل مختلف بررسی کند و در صورت شناسایی فعالیت‌های مشکوک یا پرریسک، هشدار دهد یا از ادامه فرایند جلوگیری کند.
OpenAI همچنین اعلام کرده است که برای ارزیابی دقیق‌تر و ایمن‌سازی Astra، با نهادهای دولتی و سازمان‌های تخصصی فعال در حوزه ایمنی هوش مصنوعی همکاری خواهد کرد.
تصمیمی کم‌سابقه در صنعت هوش مصنوعی
کاهش سرعت توسعه یک محصول پیش از عرضه عمومی، در فضای رقابتی آزمایشگاه‌های بزرگ هوش مصنوعی تصمیمی کم‌سابقه محسوب می‌شود. شرکت‌ها معمولاً برای دستیابی سریع‌تر به قابلیت‌های جدید با یکدیگر رقابت می‌کنند؛ اما OpenAI این بار ترجیح داده است پیش از ادامه مسیر، ریسک‌های امنیتی Astra را دقیق‌تر بررسی کند.
این شرکت دلیل انتشار عمومی اطلاعات مربوط به تصمیم خود را تعهد به شفافیت در برابر افکار عمومی و جامعه پژوهشگران ایمنی هوش مصنوعی اعلام کرده است.
جمع‌بندی
مدل هوش مصنوعی Astra با پیشرفت قابل‌توجه در کدنویسی ایجنتی و امنیت سایبری، به سطحی رسیده که نگرانی‌های جدی درباره استفاده احتمالی از توانمندی‌های آن ایجاد کرده است. OpenAI به‌جای عرضه سریع‌تر، توسعه مدل را آهسته کرده و قصد دارد با اجرای نظارت گسترده‌تر و همکاری با نهادهای تخصصی، ایمنی آن را افزایش دهد.
این تصمیم نشان می‌دهد که با قدرتمندتر شدن مدل‌های هوش مصنوعی، ارزیابی ریسک و کنترل رفتار آن‌ها به اندازه سرعت توسعه اهمیت پیدا کرده است.
همراه شما در خدمات آنلاین و حضوری
اگر برای ثبت‌نام اینترنتی، سامانه‌های دولتی یا فرم‌های اداری به راهنمایی نیاز دارید، کافی‌نت سیگنال همراه شماست. در صورت بروز هرگونه مشکل یا سوال، کافی‌ست در بخش نظرات مطرح کنید؛ در سریع‌ترین زمان پاسخگو خواهیم بود.
شماره موبایل و تماس
0936 950 1957ساعات کاری مجموعه
- شنبه تا پنج‌شنبه: ۸:۳۰ تا ۲۲
- روزهای تعطیل رسمی: ۱۰ تا ۲۲
- جمعه‌ها: ۱۶ تا ۲۲
نشانی دفتر کافی‌نت
شیراز، شهرک گلستان، بلوار علامه امینی، نرسیده به فلکه دوم، جنب بانک تجارت، کافی‌نت سیگنال کامپیوتر
گفتوگو درباره این نوشته
تجربه و دیدگاه خود را با دیگر خوانندگان به اشتراک بگذارید.
اولین نفری باشید که درباره این نوشته نظر می‌دهد.