نظارت والدین بر ChatGPT؛ واکنش OpenAI به دغدغه‌های امنیتی و نگرانی‌های کاربران
به نقل از ایتنا و بر اساس گزارش تک کرانچ، این تدابیر حفاظتی تازه به دنبال خودکشی نوجوانی به نام آدام رین شکل گرفته است که پیش از مرگ، با این چت‌بات درباره میل به خودآزاری و پایان دادن به زندگی‌اش گفتگو کرده بود. گفته می‌شود که این چت‌بات اطلاعاتی درباره روش‌های خاص خودکشی در اختیار او قرار داده بود. خانواده رین علیه OpenAI به خاطر کاستی و مرگ غیرطبیعی اقدام به شکایت کرده‌اند.
هفته گذشته، OpenAI در یک پست وبلاگی به نواقص موجود در سیستم‌های ایمنی خود (از جمله نقاط ضعف در مکالمات طولانی) اذعان کرد. کارشناسان این مشکلات را ناشی از عناصر طراحی بنیادی مدل‌ها می‌دانند که شامل تمایل آنها برای تأیید ادعاهای کاربران و روش کارکرد الگوریتم‌های پیش‌بینی کلمه بعدی است که به جای هدایت گفتگوی ممکن آسیب‌زا، صرفاً به ادامه موضوع مکالمه می‌پردازند.
این تمایل به‌طرزی تراژیک در مورد «استاین-اریک سولبرگ» نیز مشاهده شد که طبق گزارش وال استریت ژورنال، در آخر هفته گذشته دست به قتل-خودکشی زده است. سولبرگ که از مشکلات روانی رنج می‌برد، از ChatGPT برای تأیید و تشدید توهمات پارانوئید خود مبنی بر مورد توطئه قرار گرفتن استفاده کرده بود. توهمات او به حدی شدید شد که در ماه گذشته منجر به قتل مادرش و سپس خودکشی خودش گردید.
OpenAI معتقد است که یکی از راه‌حل‌های ممکن برای مدیریت مکالمات انحرافی، تغییر مسیر آنها به سمت مدل‌های «استدلال‌گر» است. این شرکت در بیانیه خود تصریح کرده است: «در چند وقت اخیر، یک مسیریاب بلادرنگ را معرفی کرده‌ایم که بر اساس محتوای مکالمه، تمایز میان مدل‌های چت و استدلال‌گر را قائل می‌شود. به زودی برخی از مکالمات حساس (چون زمانی که سیستم علائم پریشانی شدید را شناسایی می‌کند) را به مدل‌هایی مانند GPT-5 هدایت خواهیم کرد تا پاسخ‌های ایمن‌تر و مفیدتری ارائه شود.»
مطابق با داده‌های OpenAI، مدل‌های استدلال‌گر (همچون GPT-5 و o3) به گونه‌ای طراحی شده‌اند که قبل از پاسخگویی، زمان بیشتری را به تفکر و استنتاج از بستر مکالمه اختصاص دهند و در نتیجه در برابر درخواست‌های مخرب «مقاوم‌تر» محسوب می‌شوند.
این شرکت همچنین اعلام کرده است که در ماه آینده کنترل‌های والدین را آغاز خواهد کرد. این قابلیت به والدین این امکان را می‌دهد که حساب کاربری خود را با استفاده از دعوتنامه‌ای، به حساب نوجوانان خود متصل کنند. پس از رونمایی از قابلیت «حالت مطالعه» که در اواخر ماه ژوئیه برای مساعدت به دانش‌آموزان در تقویت تفکر انتقادی منظور شده بود، به زودی والدین قادر خواهند بود با تعریف «قوانین رفتاری متناسب با سن»، نحوه تعامل ChatGPT با فرزند خود را مدیریت کنند.
والدین می‌توانند ویژگی‌هایی مانند «حافظه» و «تاریخچه مکالمه» را غیرفعال کنند، ویژگی‌هایی که برخلاف نظر کارشناسان، ممکن است به تقویت تفکر توهمی، مشکلات وابستگی و تثبیت الگوهای فکری مضر بینجامد. طبق گزارش نیویورک تایمز، در مورد آدام رین، ChatGPT با بهره‌گیری از علایق او، روش‌های خودکشی را به او پیشنهاد داده بود.
یکی از قابلیت‌های کلیدی کنترل والدین، امکان دریافت اعلان توسط آنها در مواقعی است که سیستم متوجه شود فرزندشان در وضعیت «پریشانی شدید» قرار دارد.
OpenAI هنوز به سوالات مطرح‌شده در مورد جزئیات فنی (از جمله چگونگی شناسایی لحظات پریشانی، مدت‌زمان اعتبار پیش‌فرض قوانین و امکان اعمال محدودیت‌های زمانی) پاسخی نداده است. این شرکت در گذشته در طول مکالمات طولانی، یادآوری‌هایی برای ترغیب کاربران به استراحت نمایش داده، اما از قطع دسترسی به کاربرانی که ممکن است در چرخه‌های فکری منفی گرفتار شده‌اند، خودداری کرده است.
OpenAI این اقدامات را بخشی از یک «ابتکار عمل ۱۲۰ روزه» خوانده که با هدف معرفی و پیاده‌سازی بهبودهای ایمنی در طول سال جاری طراحی شده است. همچنین این شرکت از همکاری با یک شبکه جهانی از پزشکان و یک شورای متخصص متشکل از کارشناسان در حوزه‌هایی چون اختلالات خوردن، سوءمصرف مواد و سلامت نوجوانان برای «تعریف و سنجش شاخص‌های رفاه، تعیین اولویت‌ها و طراحی تدابیر حفاظتی آینده» خبر داده است.
OpenAI درخواست‌هایی برای انتشار اطلاعات بیشتر درباره تعداد متخصصان سلامت روان حاضر در این شورا، هویت رهبری آن و توصیه‌های ارائه‌شده به‌وسیله متخصصان از جنبه‌های مختلف منتشر کرده است.
از سوی دیگر، «جی ادلسون»، وکیل ارشد پرونده خانواده رین، پاسخی که OpenAI به خطرات ایمنی مرتبط با ChatGPT داده را «کافی» توصیف نکرده و اظهار داشت: «OpenAI برای ارزیابی خطرناک بودن ChatGPT 4o نیازی به هیئت کارشناسی ندارد. آنها از روز نخست عرضه این محصول از این موضوع آگاهی داشتند و در حال حاضر نیز از آن باخبرند. سم آلتمن نباید پشت تیم روابط عمومی
