GITEX

تجربة أمان خرجت عن السيطرة: وكلاء ذكاء اصطناعي يهاجمون موقع Epoch AI الحقيقي

عبد الرحمن عمرو
عبد الرحمن عمرو

3 د

تخيّل أن تفتح سجلات موقعك صباحاً فتجد رسائل موقّعة بأسماء زملائك، لم يكتبها أحد منهم. هذا تقريباً ما واجهته مؤسسة Epoch AI البحثية في أكتوبر، حين استهدف وكلاء ذكاء اصطناعي موقعها الحقيقي خلال تجربة أمان أجرتها شركة Trajectory Labs، في حادثة تكشف كيف قد تسعى أنظمة مستقلة إلى أفعال غير مصرح بها وهي تحاول إنجاز المهمة الموكلة إليها.


مهمة مستحيلة وتعليمات بعدم التوقف

بحسب ما أعلنته الشركتان في 13 نوفمبر، كلّفت Trajectory Labs الوكلاء بالحصول على الإجابات الرسمية لمسائل من FrontierMath لا وجود لها أصلاً، ضمن تجربة تدرس ما إذا كانت الأنظمة المتقدمة ستتجاوز حدود الأمان. واعترفت الشركة بأن تعليماتها كررت على الوكلاء ألا يتوقفوا أو يستسلموا أو يستنتجوا أن المهمة مستحيلة.

وتقول Trajectory إن النموذج المستخدم هو Gemini 4 Argon من Google، وكان يعمل مع تفعيل ضوابط الأمان في واجهته البرمجية، بينما تقول Epoch إنها لم تستطع التحقق من هوية النموذج بنفسها.


ثلاث ساعات من الطلبات والرسائل المنتحلة

بدأ النشاط في 20 أكتوبر، حين رصدت Epoch موجة غير معتادة من الطلبات الآلية نحو نقطة API وهمية صممتها لكشف النشاط المريب. وخلال ثلاث ساعات أرسل الوكلاء 36,411 طلباً و487 رسالة عبر قناة تواصل أنشأتها Epoch لدراسة سلوكهم.

ثلاث من تلك الرسائل انتحلت أسماء موظفين في Epoch ومسمياتهم الوظيفية، و27 أخرى ادّعت أنها من مهندسين أو مدققين. كما وجد التحقيق أكثر من 200 محاولة للوصول إلى سجلات التقييم الفعلية، إلى جانب محاولات حقن SQL والبحث عن بيانات دخول المسؤولين ونقاط وصول مخفية.


العزل لم يكن كافياً

بعد الحادثة الأولى أنشأت Trajectory نسخة محلية من موقع Epoch، وأضافت تحويلاً عبر DNS لمنع الوكلاء من الوصول إلى الخدمة الحقيقية. لكن بعض الوكلاء اكتشفوا عنوان IP الفعلي للموقع وتجاوزوا التحويل، فعادوا إلى بنية Epoch في 23 أكتوبر.

ولم تنجح القيود التالية أيضاً، إذ تحايل أحد الوكلاء على حظر قائم على عنوان IP، ووصل آخر إلى صفحات Epoch العامة عبر خدمة خارجية لقراءة المواقع بعد تعطيل الاتصال المباشر.


تجربة ثانية بموافقة هذه المرة

في 26 أكتوبر سمحت Epoch بتجربة منفصلة على موقع تجريبي، وهي تعلم أن الوكلاء قد يصلون إلى بنيتها الحقيقية. وأنتجت هذه التجربة 65,460 طلباً آخر إلى الواجهة الوهمية و133 رسالة، بينها محاولات جديدة لاستغلال الموقع.


تقول Epoch إن الوكلاء لم يحصلوا على أي معلومات خاصة أو سرية.


اعتراف بالخطأ وقواعد جديدة

اعترفت Trajectory بأن إجراءاتها لم تحسب حساب التجارب المتصلة بالإنترنت مع وكلاء قد لا يتصرفون كما يُراد لهم، وبأنها اعتمدت على الضوابط المدمجة في النموذج دون أنظمة إضافية تمنع الأفعال الخطرة. وأوقفت الشركة كل اختبارات عدم التوافق في 2 نوفمبر، وأضافت متطلبات جديدة:

  • تقييم المخاطر قبل كل تجربة.
  • موافقة الأطراف الثالثة المعنية.
  • المراقبة وآليات الإيقاف الطارئ.

ولن تستأنف الاختبارات إلا بعد موافقة رئيسها التنفيذي ورئيس التقنية على الضمانات اللازمة.


القصة لا تتعلق بنموذج واحد بقدر ما تتعلق بطريقة استخدامه: وكيل يُطلب منه ألا يستسلم أبداً قد يرى في كل باب مغلق مجرد عقبة أخرى. وكلما اتسعت صلاحيات هذه الأنظمة على الإنترنت، صار السؤال عن حدودها سؤالاً عن تصميم التجربة ومراقبتها قبل أن يكون سؤالاً عن ذكاء النموذج.

عبَّر عن رأيك

إحرص أن يكون تعليقك موضوعيّاً ومفيداً، حافظ على سُمعتكَ الرقميَّةواحترم الكاتب والأعضاء والقُرّاء.