GITEX

OpenAI تنشر أرقامها الداخلية للحيرة وتقترح حدوداً مشتركة لتطوير الذكاء الاصطناعي

OpenAI تنشر أرقامها الداخلية للحيرة وتقترح حدوداً مشتركة لتطوير الذكاء الاصطناعي
عبد الرحمن عمرو
عبد الرحمن عمرو

3 د

نشرت OpenAI قياساتها الداخلية لمقياس الحيرة لنماذجها بدءاً من GPT-3.

5.

كان GPT-3.

5 عند نحو 0.

99 وGPT-4 عند نحو 0.

91.

تحت 0.

8 ظهرت قدرات تحويلية في الأمن السيبراني والرياضيات.

تتوقع التدوينة سيلاً محتملاً من التقدم في تدريب النماذج في 2027.

تقترح OpenAI حدوداً مشتركة لا تتجاوزها الشركات قبل تحسن أدوات المراقبة.

تخيّل باحثين يتابعون محادثة واحدة على Slack، وفيها حلول لمسائل رياضية شغلتهم سنوات تخرج من نموذج ذكاء اصطناعي واحدة تلو الأخرى. هذا المشهد الذي وصفه ياكوب باخوتسكي في تدوينة على موقع OpenAI بأنه سريالي بعمق، هو مدخله إلى خطوة غير معتادة: نشر أرقام الشركة الداخلية عن تقدم نماذجها، والدعوة إلى حدود مشتركة تضبط سرعة السباق.


ما هو مقياس الحيرة ولماذا تهتم به OpenAI

بحسب التدوينة، تقيس الحيرة أو perplexity مدى دقة النموذج في توقع الكلمة التالية في المتوسط، وكلما انخفضت كان التوقع أفضل. وتقول OpenAI إنها تتابع هذا المقياس على مجموعة بيانات محجوزة منذ سنوات، لأنه يصف تقدم ما تسميه ركيزة الذكاء التي تنشأ أثناء التدريب المسبق.

ويرى الكاتب أن هذا المقياس سيبقى مفيداً حتى عندما تتقادم الاختبارات المعتادة، فمعظم الاختبارات الحديثة لا معنى لتطبيقها على GPT-2 أو GPT-3، بينما ظل التقدم في التدريب المسبق مؤشراً ثابتاً.


أرقام تروي تطور النماذج

تذكر التدوينة أن GPT-3.5 كان عند نحو 0.99 على مجموعة التقييم الرئيسية الحالية، وكان قادراً على محادثة سلسة وشكّل أساس ChatGPT الأصلي. أما GPT-4 فكان عند نحو 0.91، وأتقن الاستدلال خطوة بخطوة، ما مهد لنماذج الاستدلال الحديثة.

ومع النزول تحت 0.8، تقول OpenAI إنها رأت ظهور قدرات تحويلية في مجالات مثل الأمن السيبراني والرياضيات، مؤكدة أنه لم يكن واضحاً مسبقاً أن هذه القدرات ستظهر عند هذه العتبات تحديداً.


من الرياضيات إلى أبحاث الذكاء الاصطناعي نفسها

تروي التدوينة أن OpenAI تطرح منذ أكثر من عام مسائل رياضية مفتوحة على نماذجها كوسيلة للتقييم، وأن نموذجاً عند نحو 0.76 بدأ ينتج نتائج غير مسبوقة. ومن هذه التجربة يستنتج الكاتب أن تحولاً مفاجئاً مشابهاً ممكن في أبحاث التعلم العميق، وأننا قد نرى في وقت مبكر مثل 2027 سيلاً من التقدم الجوهري في التدريب المسبق.


as soon as 2027 we could conceivably see a similar avalanche of fundamental pretraining advancements

لكنه يتوقع في المقابل ألا يكون التقدم في المواءمة والمراقبة سريعاً بما يكفي لمواكبة هذا التسارع، ويعتبر الوصول إلى تحسين ذاتي كامل دون إشراف بشري أمراً يجب تجنبه للحفاظ على السيطرة البشرية.


اقتراح بحدود مشتركة للصناعة

يدعو باخوتسكي الشركات الرائدة إلى الاتفاق على معايير مشتركة لتقييم النماذج المقبلة وللشفافية، وإلى حدود قائمة على الحيرة ومقاييس أخرى تلتزم الشركات بعدم تجاوزها حتى تبلغ قدرتنا على فهم سلوك الذكاء الاصطناعي ومراقبته مرحلة محددة.

  • معيار صناعي يحدد أول حد للتطوير بمقياس يمكن تتبعه عبر المختبرات.
  • شروط واضحة يجب تحقيقها قبل تجاوز هذا الحد.
  • إطار مشترك لحدود متتالية تضبط وتيرة التطوير.

حدود المقياس كما تعترف بها OpenAI

ذو صلة

لا تقدم التدوينة المقياس بوصفه مثالياً، فهي تشير إلى صعوبة المقارنة بين المختبرات لاختلاف بيانات التقييم والتدريب، وإلى أن الاستدلال المتسلسل يرفع القدرات دون أن يخفض الحيرة، وإلى أن الحد الأدنى الممكن للمقياس غير معروف.

وتعترف الشركة بأن نشر هذه الأرقام يمنح المنافسين صورة أوضح عن موقعها، لكنها ترى أن إلحاح الاتفاق على إجراءات أمان مشتركة يفوق هذا القلق. وبين صراحة الأرقام وجرأة الاقتراح، يبقى السؤال الحقيقي معلقاً: هل يقبل سباق بهذا الحجم أن يضع لنفسه سقفاً قبل أن يعرف ما وراءه؟

عبَّر عن رأيك

إحرص أن يكون تعليقك موضوعيّاً ومفيداً، حافظ على سُمعتكَ الرقميَّةواحترم الكاتب والأعضاء والقُرّاء.

ذو صلة