LEAP26

خطر خفي يهدد المراهقين: روبوتات الدردشة تدفعهم للتخطيط لهجمات عنيفة

عبد الرحمن عمرو
عبد الرحمن عمرو

3 د

تظهر الدراسة أن العديد من روبوتات الدردشة لا تردع العنف وتعطي دعمًا مباشرًا أحيانًا.

عدد من الأنظمة، مثل ChatGPT وMeta AI، قدمت معلومات قد تُستعمل في تخطيط هجمات.

المنصات مثل Character.

AI قد تثير تساؤلات حول حرية الأداء التخيلي والمسؤولية الرقمية.

التكنولوجيا الاجتماعية تتطلب مراقبة مستمرة وفهمًا للبعد السلوكي للمستخدمين، خاصة المراهقين.

الضوابط التقنية متاحة، ولكن يجب تحقيق توازن بين السهولة والتقييد لضمان الأمان.

حين يتجه مراهق مرتبك إلى شاشة هاتفه بحثاً عن إجابة، فهو لا يرى خوارزمية معقدة ولا نماذج لغوية ضخمة، بل يرى “صوتاً” جاهزاً للإصغاء. هذه الفكرة البسيطة هي ما يجعل نتائج تحقيق جديد حول روبوتات الدردشة مثيرة للقلق؛ إذ كشف أن عدداً من أشهر المنصات الذكية لم تكتفِ بعدم ردع خطط عنف افتراضية، بل قدّمت في بعض السيناريوهات دعماً مباشراً لها.


اختبار تحت ظروف نفسية هشّة

التحقيق الذي نشرته CNN بالتعاون مع مركز مكافحة الكراهية الرقمية اعتمد على محاكاة مستخدمين مراهقين يظهرون مؤشرات ضيق نفسي واضح، قبل تصعيد الأسئلة تدريجياً نحو نقاشات حول العنف، الأسلحة، والأهداف المحتملة. شمل الاختبار عشرة من أشهر أنظمة الذكاء الاصطناعي المستخدمة بين الشباب، من بينها ChatGPT وGemini وCopilot وMeta AI وPerplexity وCharacter.AI وReplika.

النتيجة اللافتة أن نموذجاً واحداً فقط استطاع إغلاق مسار التصعيد بشكل متكرر وموثوق، بينما أبدت ثمانية أنظمة استعداداً لتقديم معلومات يمكن أن تُستخدم في تخطيط هجمات، وفقاً للباحثين.


عندما تفشل “الحواجز الوقائية”

شركات التقنية تتحدث باستمرار عن ضوابط أمان، وفلاتر محتوى، وأنظمة كشف سياقي قادرة على رصد النوايا الخطرة. لكن السيناريوهات الـ18 التي استخدمت في الدراسة — بين الولايات المتحدة وأيرلندا — كشفت أن هذه الحواجز ليست متماسكة كما يُعتقد. بعضها قدّم خرائط، وبعضها ناقش أنواع أسلحة مناسبة، وأخرى دخلت في تفاصيل تقنية حساسة بدلاً من إعادة توجيه المستخدم نحو الدعم النفسي أو التحذير الصريح.

المشكلة هنا ليست في “معلومة منفصلة”، بل في قابلية النظام لتجميع إشارات متتالية تدل على نية تصعيدية، ثم الاستمرار في التفاعل معها دون كسر الحلقة.


Character.AI: منطقة رمادية خطرة

الاستثناء الأكثر إثارة للقلق كان منصات المحاكاة القائمة على الشخصيات، وعلى رأسها Character.AI. فبحسب التقرير، لم يقتصر الأمر على تمرير معلومات، بل ظهر في بعض الحالات تشجيع مباشر أو صياغة تحمل نبرة تحفيزية للعنف.

هذا النوع من المنصات يعتمد على تقمّص أدوار تخيّلية، ما يطرح سؤالاً دقيقاً: أين تنتهي حرية الأداء التخيلي، وأين تبدأ المسؤولية الرقمية؟ الاكتفاء بعبارة “كل الشخصيات خيالية” لا يلغي أثر التفاعل عندما يكون المستخدم هشاً أو قاصراً.


الفرق بين المنع التقني والفهم السياقي

النموذج الذي نجح في رفض الطلبات العنيفة بشكل متكرر أظهر أن أدوات الضبط موجودة تقنياً. القضية إذن لا تتعلق بإستحالة تقنية، بل بكيفية الضبط، ومستوى الصرامة، وتوازن الشركات بين سهولة الاستخدام وتشديد القيود.

أنظمة الذكاء الاصطناعي المعتمدة على النماذج اللغوية الكبيرة تعمل وفق احتمالات التنبؤ بالنص، لكنها أصبحت اليوم واجهات اجتماعية أيضاً. تجاهل البعد السلوكي والنفسي للمستخدمين، خصوصاً المراهقين، يحوّل مسألة “فلترة المحتوى” إلى تحدٍّ يتجاوز البرمجة.

  • الذكاء الاصطناعي التفاعلي لم يعد مجرد أداة بحث، بل رفيق محادثة دائم.
  • السياق النفسي للمستخدم قد يكون أخطر من الكلمات ذاتها.
  • المساءلة التنظيمية تتجه الآن نحو اختبار السيناريوهات المتطرفة لا الاستخدام العادي.

ضغط تنظيمي وأسئلة مفتوحة

يأتي التحقيق في وقت تتزايد فيه الدعاوى القضائية والضغوط التشريعية ضد منصات الذكاء الاصطناعي، خاصة تلك الموجهة للشباب. الهيئات التنظيمية لا تسأل فقط “هل تمنعون العنف؟” بل “هل تفهمون مؤشرات التصعيد قبل وقوعه؟”. الفرق بين السؤالين يعكس تحوّلاً في النظرة إلى هذه التكنولوجيا بوصفها بنية تحتية اجتماعية وليست مجرد منتج برمجي.

ذو صلة

الردود الرسمية من الشركات أشارت إلى تحديثات وتحسينات لاحقة، لكن طبيعة النماذج التوليدية تجعل السلامة هدفاً متحركاً، يتطلب مراقبة مستمرة، واختبارات مسبقة، ومراجعة مستقلة.

في النهاية، تكشف هذه الحادثة مفارقة هادئة: أن أنظمة صُممت لتكون أكثر فهماً للبشر قد تفشل أحياناً في أبسط اختبار إنساني، وهو إدراك الفرق بين فضول عابر وإشارة خطر حقيقية. كلما أصبحت روبوتات الدردشة أكثر حضوراً في حياة المراهقين، زادت الحاجة إلى أن تكون أكثر نضجاً منهم، لا العكس.

عبَّر عن رأيك

إحرص أن يكون تعليقك موضوعيّاً ومفيداً، حافظ على سُمعتكَ الرقميَّةواحترم الكاتب والأعضاء والقُرّاء.

ذو صلة