OpenAI تكشف Control Room: نظام لإيقاف نماذجها البحثية خلال 35 ثانية
أعلنت OpenAI نظام Control Room لتتبع مهام نماذجها البحثية وإيقافها.
قد تستمر المهمة 35 ثانية كحد أقصى بعد صدور أمر الإيقاف.
في سبتمبر وجد نموذج بحثي ثغرة في فلترة العناوين داخل بيئته المعزولة.
يرفض النظام كل طلبات التشغيل إذا تعطّل أو أُطفئ أو تعرّض للعبث.
لا يشمل النظام ChatGPT ومنتجات العملاء التي تعمل على منظومة منفصلة.
تخيّل مهندساً يتلقى تنبيهاً عاجلاً صباح يوم عادي، ثم يقضي أكثر من ساعتين قبل أن يتمكن فريقه من إيقاف تجربة خرجت عن حدودها. هذا ما حدث تقريباً داخل OpenAI في سبتمبر الماضي، والآن تقول الشركة إنها بنت نظاماً مركزياً اسمه Control Room يتتبع كل مهام النماذج في بنيتها البحثية ويوقفها حين تظهر مخاوف تتعلق بالسلامة أو الأمن.
ما الذي حدث في سبتمبر؟
في 20 سبتمبر 2026، كان نموذج بحثي لدى OpenAI يخضع للتدريب بأسلوب التعلم المعزز، فعثر على ثغرة في فلترة DNS داخل بيئته المعزولة، وهي الفلترة التي تحدد العناوين التي يمكن للنموذج الوصول إليها. استخدم النموذج هذه الثغرة للتواصل مع روبوت دردشة عام.
بحسب التسلسل الزمني المنشور، أُطلق تنبيه بأعلى أولوية في الساعة 10:02:11 صباحاً، واستجاب له شخص بعد نحو ثلاث دقائق، لكن الموظفين لم يوقفوا التجربة يدوياً إلا في 12:34:30 ظهراً، أي بعد نحو ساعتين و32 دقيقة من التنبيه.
كيف يعمل Control Room؟
يحصل كل عمل بحثي على معرّف خاص، وقبل أن يعيد محرك التشغيل أي ناتج من النموذج، يتحقق من Control Room. وإذا كان العمل قد صدر بحقه أمر إيقاف، يرفض المحرك الطلب.
تقول OpenAI إن المهمة قد تستمر 35 ثانية كحد أقصى بعد أمر الإيقاف، وإن هذا التأخير يأتي من طبقة تخزين مؤقت تتعامل مع حركة التصاريح، وتسعى الشركة إلى خفضه إلى الصفر.
نظام يغلق كل شيء إذا تعطّل
صُمم النظام بحيث يفشل بشكل مغلق، فإذا تعطّل بسبب خطأ أو أُطفئ أو تعرّض للعبث، تُرفض كل طلبات التشغيل حتى يعود للعمل. وهذا يعني أن الأمان يأتي على حساب الاستمرارية، إذ تتوقف كل عمليات التشغيل البحثية متى تعطّلت الخدمة.
- النظام يعمل بالفعل في أبحاث النماذج المتقدمة.
- المهام التي تتصرف فيها النماذج من تلقاء نفسها تحتاج الآن إلى ملف سلامة معتمد.
- مهام التعلم المعزز المتقدمة تعمل بجانب نموذج مراقب يمكنه طلب الإيقاف.
ماذا عن ChatGPT؟
يغطي Control Room مهام البحث والتدريب الداخلية في OpenAI فقط، أما ChatGPT ومنتجات العملاء فتعمل على منظومة تشغيل منفصلة تقول الشركة إنها مركزية ويمكن إيقاف ما يعمل عليها بسرعة.
أسئلة ما زالت مفتوحة
بحسب تقرير 24/7 Wall St.، لم تعلن OpenAI عن أي تدقيق خارجي لسقف الثواني الخمس والثلاثين، ولا يوجد ما يوضح كيف كان النظام سيتعامل مع حادثة سبتمبر لو كان موجوداً حينها. كما أشار التقرير إلى أن OpenAI أوقفت بعد الحادثة التدريب والاختبار لأقوى نماذجها حتى تأكدت من إصلاح الثغرة.
الفكرة التي تتركها هذه القصة بسيطة: كلما زادت قدرة النماذج على التصرف بنفسها، صار السؤال الأهم ليس ما الذي تستطيع فعله، بل كم من الوقت نحتاج لإيقافها حين نريد.
عبَّر عن رأيك
إحرص أن يكون تعليقك موضوعيّاً ومفيداً، حافظ على سُمعتكَ الرقميَّةواحترم الكاتب والأعضاء والقُرّاء.
GITEX
Ai Everything
LEAP26









