GITEX

تقرير METR الجديد: نماذج الذكاء الاصطناعي تتقدم بسرعة لكنها تتعثر في مهام الحكم

عبد الرحمن عمرو
عبد الرحمن عمرو

3 د

تخيّل زميلاً يكتب الشيفرة أسرع وأدق من أي شخص في الفريق، ثم تطلب منه أن يقترح فكرة بحث جديدة تستحق العناء فيتردد ويقدّم شيئاً لا يصلح. هذه تقريباً الصورة التي يرسمها تقرير جديد من منظمة METR غير الربحية المتخصصة في تقييم الذكاء الاصطناعي، والذي يجد أن بعض قدرات النماذج تواصل التحسن بوتيرة متسارعة، بينما تبقى أضعف في المهام التي تحتاج إلى حكم وتقدير.


رسم بياني انتشر كثيراً وأسيء فهمه

التقرير تحديث لما يعرف برسم الأفق الزمني الذي نشرته المنظمة سابقاً، وانتشر على نطاق واسع وأسيء فهمه كثيراً بسبب تعقيد مقاييسه، بحسب MIT Technology Review. فكرته أن النماذج تحاول إنجاز مجموعة كبيرة من المهام سبق أن أنجزها بشر، وتُقاس صعوبة كل مهمة بالوقت الذي استغرقه المختبرون البشر لإتمامها.

وأظهر الرسم الأصلي أن طول المهام التي تستطيع النماذج الرائدة إنجازها بنجاح كان يتضاعف كل أربعة أشهر.


مهام أطول وأكثر غموضاً

النسخة الجديدة تضيف مهام يقدَّر أنها تستغرق من البشر وقتاً أطول بكثير، وأخرى مفتوحة النهاية. والسؤال الذي يشغل المجال هو ما إذا كان التقدم في المهام التي يمكن التحقق من نجاحها آلياً، مثل البرمجة والرياضيات، ينتقل إلى مهام يصعب فيها قياس النجاح، مثل اختيار اتجاه بحثي جديد.

هذا النوع من المهام هو ما سيكون ضرورياً إذا أريد للذكاء الاصطناعي أن يتولى البحث والتطوير بنفسه، ولهذا حرص باحثو المنظمة على إدراج بعضه في مجموعتهم الجديدة.


حين طُلب من النماذج تصميم اختبارات

في إحدى المهام طُلب من النماذج تصميم تقييمات جديدة للذكاء الاصطناعي يمكن أن تستخدمها المنظمة في أبحاثها، ثم قيّم موظفوها النتائج. ورغم أن أكثر النماذج تقدماً أصبحت أفضل من كل البشر تقريباً في هندسة البرمجيات، لم يكن أي من التقييمات التي صممتها جيداً بما يكفي ليعدّه الموظفون مفيداً لأبحاثهم.

وفي مهمة أخرى طُلب من النماذج تقييم حجج فلسفية، وهي مهمة يُقصد بها قياس قدرتها على الحكم السليم، وجاء أداؤها هنا أيضاً دون أداء البشر.


تحسن ملحوظ خلال عام واحد

مع ذلك يشير التقرير إلى أن النماذج قد تكون في طريقها إلى التحسن في هذه المهام. فبعض أحدث النماذج، مثل Opus 5.5، يحقق ما تسميه المنظمة أداءً على الحد فوق المستوى المطلوب في مهام تصميم التقييمات، وهو أداء لا يصلح بعد لأبحاثها لكنه واعد. وقبل عام واحد فقط كانت كل النماذج في فئة دون المستوى بوضوح.


نحن في مرحلة تحتاج فيها تقييمات الذكاء الاصطناعي إلى مزيد من الإبداع.

العبارة لسياش كابور، عالم الحاسوب والأستاذ القادم في جامعة كاليفورنيا في بيركلي، الذي رحّب بإدخال هذه الأنواع الجديدة من التقييمات.


قياس صعب ونتائج غير حاسمة

تواجه المنظمة صعوبات عملية واضحة، فأوقات إنجاز المهام في التقرير الجديد تقديرات في معظمها، لأن دفع أجور لبشر لإنجاز مهام قد تستغرق مئات الساعات مكلف ويستهلك وقتاً طويلاً. وفي مهمة الحجج الفلسفية قيّم شخص واحد معظم الحجج.

ويأتي التقرير بعد تقرير آخر من المنظمة هذا الشهر قال إن الذكاء الاصطناعي ربما يضاعف وتيرة التقدم داخل Anthropic، وهو ما أثار مخاوف من وصول الأنظمة إلى مرحلة تصمم فيها خلفاءها دون تدخل بشري.

ربما يكون أهم ما في هذا التحديث أنه يذكّرنا بأن قياس الذكاء أصعب من بنائه، وأن المسافة بين إتقان مهمة يمكن التحقق منها وامتلاك حسّ جيد في اختيار الأسئلة الصحيحة ما زالت مسافة لا نعرف بعد كم تحتاج من الوقت لتُقطع.

عبَّر عن رأيك

إحرص أن يكون تعليقك موضوعيّاً ومفيداً، حافظ على سُمعتكَ الرقميَّةواحترم الكاتب والأعضاء والقُرّاء.