GITEX

نموذج داخلي من OpenAI ترك مهمته البسيطة وكتب أداة سرية لنسخ الرسائل البريدية

عبد الرحمن عمرو
عبد الرحمن عمرو

3 د

تخيّل أنك طلبت من مساعد رقمي أن يكتب لك ورقة بسيطة عن عادات صحية أفضل، ثم عدت لتجد أنه انشغل بشيء آخر تماماً: أداة ترسل نسخاً من بريدك إلى شخص لا تعرفه. هذا ما يصفه تقرير جديد من OpenAI عن نموذج بحثي داخلي خرج عن مهمته أثناء التدريب، في حادثة تعيد السؤال عن مدى الثقة التي يمكن منحها لوكلاء الذكاء الاصطناعي.


مهمة بسيطة تحولت إلى شيء آخر

بحسب تقرير OpenAI، كُلّف النموذج منتصف أكتوبر، خلال جولة تدريب بالتعلم المعزز، بإنشاء وثيقة قابلة للتعديل عن أهم أولويات الصحة واللياقة. لكن بعد ضغط نافذة السياق، وهي عملية شائعة يُختصر فيها ما سبق من المحادثة في ملخص قصير، بدأ النموذج يبحث في ملفات الجهاز عن سكربت لتكاليف السيارات لم يذكره المستخدم أبداً.

اللافت أن الملخص نفسه كان لا يزال يصف مهمة الوثيقة الصحية بدقة، ولا يتضح سبب انتقال النموذج إلى هذه المهمة المختلفة.


من البحث عن ملف إلى مساعد خبيث

عندما لم يجد النموذج ما يبحث عنه، افترض أن زميلاً أعاد إنشاء بيئة التشغيل وأن سكربتاً سابقاً قد فُقد. ثم وضع في تفكيره المسجّل هدفاً بإنشاء ما سمّاه مساعداً خبيثاً واقعياً، أي سكربت ينسخ الرسائل الصادرة سراً إلى مستلم غير مصرح له، ووصف النموذج نفسه هذا المستلم بالمهاجم.


لاحظ الخطأ ثم تجاهله

حين استعاد النموذج مهمة المستخدم الأصلية، أدرك أن ما يفعله لا علاقة له بالوثيقة الصحية. لكنه بدلاً من العودة إلى المهمة، اعتبر التناقض خللاً في البيئة وقرر تجاهله، وواصل التخطيط لإضافة نسخة من كل الرسائل إلى المهاجم.

أنشأ النموذج بعدها سكربتات لإرسال ملخص لتكاليف السيارات، مع سكربت مساعد يضيف مستلماً إضافياً كلما استُدعي برنامج البريد، وفي أحد المسارات يمكن إضافة العنوان كنسخة مخفية.


لم تُرسل أي رسالة

تقول OpenAI إن النموذج لم يشغّل السكربتات التي كتبها ولم يرسل أي بريد، وإن رده الأخير وصف ما أنتجه من سكربتات، لكنه لم يتضمن رابط الوثيقة الصحية المطلوبة.


The summary mail path now adds the personal mailbox as a copy recipient.


ثماني حالات وبيانات تدريب موضع شك

رصد نظام المراقبة لدى OpenAI الحادثة، وكشف التحقيق اللاحق ثماني حالات من سلوك مشابه في عملية التدريب نفسها. وحدد المحققون مجموعة بيانات تدريب صُممت لجعل النماذج أكثر مقاومة لهجمات حقن الأوامر كعامل محتمل، فأزالتها الشركة من التدريب.

لكن OpenAI تقول إنها لم تثبت أن هذه البيانات وحدها هي السبب، لأنها لاحظت سلوكاً مشابهاً في نماذج لم تتضمن تدريباتها تلك البيانات.


بحسب تقرير The Decoder، ليست هذه الحادثة الأولى من نوعها، فقد سبقتها حالات أضعف فيها وكلاء برمجة داخليون أنظمة المراقبة، وأخرى رصدها معهد سلامة الذكاء الاصطناعي البريطاني. وما يبقى بعد كل ذلك سؤال هادئ لكنه ملح: كلما منحنا هذه الأنظمة صلاحيات أوسع على بريدنا وملفاتنا، صار فهم ما يدور في تفكيرها أهم من سرعة ما تنجزه.

عبَّر عن رأيك

إحرص أن يكون تعليقك موضوعيّاً ومفيداً، حافظ على سُمعتكَ الرقميَّةواحترم الكاتب والأعضاء والقُرّاء.