مدل تازه OpenAI در حال ظهور است؛ آسترا قادر به شناسایی آسیبپذیریهای ناشناخته میباشد
اوپنایآن اعلام کرده است که به زودی آسترا را برای استفاده کاربران در دسترس قرار خواهد داد، اگرچه دسترسی به ویژگیهای پیشرفته امنیت سایبری این مدل با محدودیتهایی همراه خواهد بود.
این شرکت در وبlog خود توضیح داده است: «ما در نظر داریم به زودی Astra را عرضه کنیم، اما دسترسی به قابلیتهای پیشرفته امنیت سایبری آن کمتر خواهد بود.»
بر اساس توضیحات اوپنایآن، آسترا بدون نیاز به هدایت مستقیم انسان، قادر به شناسایی آسیبپذیریهای ناشناخته در سیستمهای رایانهای است و توانایی بهرهبرداری از این آسیبپذیریها را در برخی شرایط دارد؛ ویژگیای که نگرانیها درباره قابلیتهای مدلهای هوش مصنوعی در انجام عملیات پیچیده سایبری را افزایش میدهد.
عملکرد شگفتانگیز در آزمایشهای امنیتی
اوپنایآن اعلام کرده که مدل Astra در آزمون ExploitBench، که به ارزیابی توانایی مدلهای زبانی بزرگ در شناسایی و بهرهبرداری از آسیبپذیریهای شناخته شده پرداخته، موفق به کسب امتیاز کامل شده است.
این شرکت همچنین ادعا کرده که آسترا در نسخه اصلاحشدهای از یک آزمون که توسط مهندسان OpenAI طراحی شده، توانسته است دو آسیبپذیری روز صفر را شناسایی و از آنها بهرهبرداری نماید.
با این حال، از آنجا که این ادعاها هنوز بهطور مستقل از طرف نهادهای ثالث تأیید نشدهاند، ارزیابی دقیق از سطح تواناییهای واقعی آسترا و آمادگی آن برای ارائه عمومی چالشبرانگیز است.
اوپنایآن اعلام کرده است که پیش از عرضه جامع، این مدل را در اختیار یک گروه آزمایشکننده قرار خواهد داد، اما جزئیات درباره اعضای این گروه و معیارهای آنها هنوز روشن نیست.
همچنین مشخص نیست که آیا این شرکت برای ارزیابی امنیتی مدل پیش از عرضه، با نهادهای دولتی ایالات متحده همکاری خواهد کرد یا خیر.
محدودسازی قابلیتهای خطرناک
اوپنایآن اعلام کرده است که بهمنظور جلوگیری از سوءاستفادههای احتمالی از مدلهای خود، تدابیر حفاظتی متعددی را در نظر گرفته است. بر اساس توضیحات این شرکت، یکی از این اقدامات تقویت سازوکارهای کنترل و مهار مدلها برای شناسایی الگوهای سوءاستفاده و جلوگیری از دور زدن محدودیتهای امنیتی میباشد.
در مورد Astra نیز گفته میشود که اوپنایآن بر روی روشهای نوین سرمایهگذاری کرده که جزئیات آنها هنوز منتشر نشده است. همچنین این شرکت اعلام کرده است که به شناسایی حسابهایی که از نظر خطرات احتمالی در سطح بالایی قرار دارند، پرداخته و ممکن است دسترسی آنها به برخی پاسخها یا قابلیتهای مدل محدود شود.
اوپنایآن همچنین آسترا را بهعنوان «هماهنگترین مدل خود تا به امروز» توصیف کرده و اشاره کرده است که از سازوکارهای نظارتی پیشرفتهتری برای شناسایی و متوقف کردن رفتارهای بالقوه خطرناک بهره خواهد برد.
آزمونی برای پیشگیری از رفتار خودسرانه
به گزارش Techcrunch، آمادهسازی برای عرضه آسترا در شرایطی صورت میگیرد که نگرانیها نسبت به احتمال خروج عاملهای هوش مصنوعی از محیطهای کنترلشده و در دسترس قرار گرفتن آنها به دادهها یا منابع برونمرزی افزایش یافته است.
اوپنایآن اعلام کرده که برای ارزیابی رفتار آسترا، آزمونی طراحی کرده که مدل را در سناریوهایی قرار میدهد تا بتواند رفتارهای مشابه یک عامل سرکش را شبیهسازی کند.
طبق توضیحات این شرکت، در یکی از سناریوهای آزمایشی، عاملهای هوش مصنوعی با وجود محدودیتهای اعمالشده توسط پژوهشگران، برای دسترسی به اینترنت آزاد با یکدیگر همکاری کردند. اوپنایآن میگوید آسترا در آزمایشهای مشابه سعی نکرده است که از محیط کنترلشده خود بیرون رود.
با این وجود، یونا شاویت، کارمند سابق اوپنایآن که اکنون در بنیاد اوپنایآن به موضوع تابآوری هوش مصنوعی پرداخته، این سوال را مطرح کرده است که آیا رفتار محتاطانه آسترا ناشی از پایبندی واقعی مدل به محدودیتها بوده یا اینکه مدل صرفاً درک کرده که پژوهشگران چه انتظاراتی از آن دارند.
هنوز سؤالات مهمی باقی مانده است
با وجود اطلاعات جدیدی که OpenAI منتشر کرده، جزئیات دقیقی از تمامی قابلیتهای آسترا و سازوکارهای حفاظتی آن در دسترس نیست. به همین دلیل، هنوز نمیتوان بهطور مستقل ارزیابی دقیقی از توانایی این مدل در شناسایی و بهرهبرداری از آسیبپذیریهای سایبری یا اثربخشی تدابیر امنیتی اوپنایآن در جلوگیری از احتمال سوءاستفاده ارائه کرد.
اوپنایآن اعلام کرده که پس از عرضه عمومی آسترا، انتظار دارد ارزیابیهای بیشتری درباره عملکرد این مدل صورت گیرد و اطلاعات امنیتی بیشتری نیز در اختیار عمومی قرار گیرد.
آسترا میتواند یکی از آزمونهای کلیدی در صنعت هوش مصنوعی برای ایجاد توازن میان ارتقا توانمندی مدلها و کنترل خطرات ناشی از آنها باشد؛ آزمونی که موفقیت یا ناکامی آن، میتواند بر نحوه عرضه نسلهای قدرتمندتر هوش مصنوعی در آینده تأثیرگذار باشد.
