GITEX

اختبار Co-Design Bench: أفضل وكلاء البرمجة ينجز ربع المهام فقط بالكامل

اختبار Co-Design Bench: أفضل وكلاء البرمجة ينجز ربع المهام فقط بالكامل
عبد الرحمن عمرو
عبد الرحمن عمرو

4 د

باحثون من Alibaba وجامعات آسيوية أطلقوا اختبار Co-Design Bench لوكلاء البرمجة.

يعتمد الاختبار على طلبات تعديل حقيقية من مستخدمين على تطبيقات ويب قائمة.

تصدّر GPT-6 Astra النتائج لكنه أنجز 26.

4% فقط من المهام بالكامل.

جاء Claude Opus 5 ثم Qwen3.

8-Max بعده، وحلّ Grok 4.

6 أخيراً.

النتائج تتغير بحسب بيئة العمل، لذا ينصح الباحثون باختبار النموذج وبيئته معاً.

يطلب المطوّر من وكيل البرمجة تعديلاً بسيطاً في تطبيقه، فيعود الوكيل بعمل يبدو منجزاً للوهلة الأولى، ثم يكتشف بعد دقائق أن رقماً واحداً لم يُحدَّث أو أن زراً لا يعمل. هذه التجربة المألوفة صارت لها الآن أرقام واضحة، فبحسب تقرير The Decoder، كشف اختبار جديد أن أفضل وكلاء البرمجة بالذكاء الاصطناعي لا ينجز بالكامل إلا نحو مهمة واحدة من كل أربع، وهو ما يضع الدرجات شبه المثالية في الاختبارات القديمة في حجمها الحقيقي.


اختبار مبني على طلبات حقيقية

طوّر باحثون من Alibaba وعدد من الجامعات الآسيوية اختباراً جديداً باسم Co-Design Bench. وفيه يُطلب من الوكلاء إعادة العمل على تطبيقات ويب موجودة بناءً على طلبات المستخدمين، وأحياناً تأتي هذه الطلبات مرفقة بصور أو تسجيلات صوتية أو مقاطع فيديو أو مستندات.

واعتمد الباحثون على طلبات فعلية من جلسات برمجة حقيقية، وفضّلوا الحالات التي اضطر فيها المستخدمون إلى إعادة صياغة طلبهم أكثر من مرة أو التراجع عن تغييرات، أي المهام التي أربكت وكلاء الذكاء الاصطناعي في الواقع. وتتراوح المهام بين تعديلات صغيرة، مثل استخراج مبلغ من إيصال وتحديث كل المجاميع المرتبطة به، وإعادة بناء مشاريع كاملة.


لماذا احتاج الباحثون إلى اختبار جديد

يبرر الباحثون عملهم بأن الاختبارات الحالية وصلت إلى حد التشبع. فعندما تستطيع النماذج تشغيل الكود الذي تكتبه وفحصه وإصلاحه، فإنها تتجاوز 99% في تلك الاختبارات، ولا يعود ممكناً تقريباً قياس الفروق بينها.

أما التقييم في Co-Design Bench فصارم: حكم آلي أول يجرب التطبيق النهائي داخل المتصفح، ثم يعيد حكم ثانٍ فحص كل نتيجة إيجابية ويبحث عن نماذج شكلية أو نتائج مكتوبة مسبقاً في الكود. ولا تُحتسب النقاط إلا للميزات التي تعمل فعلاً داخل التطبيق.


GPT-6 Astra في الصدارة لكن بعيداً عن الكمال

بحسب الدراسة، جاء GPT-6 Astra في المركز الأول بين النماذج العشرة المختبرة، إذ يلبّي في المتوسط نحو 70% من متطلبات المهمة، لكن نتيجته كانت صحيحة بالكامل في 26.4% فقط من المهام. وفي أغلب الحالات ينجز الوكيل الجزء الأكبر من العمل ويترك تفصيلة واحدة على الأقل دون إكمال، ما يعني أن المستخدم يحتاج في الغالب إلى التدخل يدوياً.

وجاء بعده Claude Opus 5 ثم Qwen3.8-Max، بينما حلّ Grok 4.6 في المركز الأخير. وفي مهام إعادة البناء الكبيرة، صعد النموذج الأصغر بكثير Qwen3.8-27B إلى المركز الثاني، لكن الباحثين لم يستنتجوا من ذلك أفضلية عامة له.


كلما تشابكت المتطلبات تراجع الأداء

ينخفض أداء كل النماذج كلما جمعت المهمة أنواعاً أكثر من التغييرات، مثل التخطيط والتصميم والتفاعل والمحتوى. والمشكلة أن هذه المتطلبات المتشابكة هي القاعدة في المشاريع الحقيقية لا الاستثناء.

ولا تحل زيادة قوة الحوسبة هذا الضعف، فالنموذج GLM-5.2 استهلك قرابة ستة أضعاف ما استهلكه GPT-6 Astra من الرموز في التعديلات الصغيرة، ومع ذلك جاءت نتيجته أسوأ بشكل ملحوظ.



البيئة لا تقل أهمية عن النموذج

في اختبار منفصل، شغّل الباحثون النماذج نفسها داخل بيئات عمل مختلفة، وهي البرامج التي يقرأ الوكيل من خلالها الكود ويكتبه وينفّذه. وسجّل Qwen3.8-27B في مهام إعادة البناء الكبيرة 75% أو 56% فقط بحسب البيئة، كما تغيّر ترتيب نموذجين بينهما تبعاً للبيئة أيضاً.

  • قوائم الترتيب التي تذكر اسم النموذج وحده تروي جزءاً من القصة فقط.
  • يوصي الباحثون بالإعلان دائماً عن النموذج وبيئة العمل معاً.
  • على الشركات التي تختار وكيل برمجة أن تختبر المكوّنين كزوج واحد.

حدود الاختبار وما تقوله دراسات أخرى

ذو صلة

للاختبار حدوده، فهو يقيّم طلباً واحداً ثابتاً لكل مهمة، ولا يشمل أسئلة المتابعة أو تصحيحات المستخدم أثناء العمل، كما أن الحكّام الآليين قد يخطئون. وكانت دراسة لمنظمة METR البحثية قد أظهرت أن معدل قبول قادة المشاريع للكود المولَّد بالذكاء الاصطناعي جاء أقل بنحو 24 نقطة مئوية من درجات اختبار SWE-bench Verified المستخدم على نطاق واسع.

تقول هذه الأرقام إن وكلاء البرمجة صاروا يحملون الجزء الأثقل من العمل، لكن اللمسة الأخيرة التي تجعل التطبيق يعمل كما يريده صاحبه ما زالت في يد الإنسان، وربما يكون السؤال الأهم اليوم ليس متى يستغني الوكيل عن المبرمج، بل كيف يتعلم الاثنان العمل معاً بأقل قدر من الإصلاح بعد كل مهمة.

عبَّر عن رأيك

إحرص أن يكون تعليقك موضوعيّاً ومفيداً، حافظ على سُمعتكَ الرقميَّةواحترم الكاتب والأعضاء والقُرّاء.

ذو صلة