أفضل من GPT من 5 إلى 20 مرة!.. يبدو أن “جيميني” سيكتسح النماذج الذكية

قبل كوفيد، أطلقت جوجل نموذج "MEENA"، وكان لفترة وجيزة أفضل نموذج لغة ضخم في العالم. إذ كتبت جوجل مدونة مهمة للغاية، لأنها قورنت بشكل محدد مع OpenAI.

مقارنةً بالنموذج التوليدي الموجود والأكثر تقدمًا، GPT-2 من OpenAI، كان لدى Meena قدرة أكبر بمقدار 1.7x ودُرّب على بيانات أكثر بمقدار 8.5x.

احتاج هذا النموذج إلى أكثر من 14x من الفلوبس Floating Point Operations Per Second" مقارنةً بـ GPT-2 للتدريب، ولكن بلا فائدة، لأن OpenAI أطلقت نموذج GPT-3 بعد بضعة أشهر فقط، وقد كان له عدد معلمات أكبر ب 65x وعدد رموز أكبر ب 60x، وأكثر من 4,000x فلوبس. وكان الفرق في الأداء بين هذين النموذجين كبيرًا جدًّا.

أثار نموذج MEENA استفزاز نوام شازير وكتب مذكرة بعنوان "MEENA تأكل العالم". تنبأ في هذه المذكر العديد من الأمور التي لاحظها بقية العالم بعد إصدار ChatGPT. وكانت النقاط الرئيسية هي أن نماذج اللغة ستتكامل بشكل متزايد في حياتنا بطرق متعددة، وأنها ستهيمن على فلوبس المنتشرة عالميًا. كان نوام يرى المستقبل عندما كتب تلك المذكرة، على الرغم من تجاهل الكثيرين له وسخريتهم منه.

اليوم نريد مناقشة أنظمة تدريب جوجل لـ Gemini، وسرعة التطور لنماذج Gemini، وصعود جوجل لـ Viperfish (TPUv5)، وقدرة جوجل على المنافسة مستقبلاً مقارنةً بالمختبرات  الرائدة الأخرى، مع مجموعة نسميهم المحرومين من GPU. أي ليس لديهم وصول إلى موارد الحوسبة القوية.

ظهر Gemini جيميني، نموذج الذكاء الاصطناعي المبتكر، مع ادعاءات بأنه أكثر تقدمًا من 5 إلى 20 مرة من النموذج المشهور GPT الذي أنتجته OpenAI.

الوظيفة الأساسية لـ GPT هي إنشاء نص يشبه الإنسان عن طريق التنبؤ بالكلمات التالية في الجملة. ورغم أنه مذهل، إلا أن GPT في بعض الأحيان يفتقر إلى عمق في فهم السياق، حيث ينتج أحيانًا نصًا صحيحًا من الناحية النحوية ولكن ليس منطقيًا. 

يتميز جيميني بتركيز متعمق ومحسن على فهم السياق والقدرة على دمج المعلومات الفورية بفعالية أكبر، بالإضافة إلى إلى سرعة استجابته وقدرته على التكيف مع المعلومات الجديدة بفضل خوارزميات التعلم الآلي المتطورة التي يعتمد عليها.

هذا القدر على استقبال ومعالجة المعلومات بشكل فوري، مع تفهمه المتعمق للسياق، يمنح "جيميني" مكانة مرموقة في عالم الذكاء الاصطناعي، مما يجعله أداة قيمة في العديد من تطبيقات الذكاء الاصطناعي.

يعد الوصول إلى قدرات الحوسبة سيف ذو حدين. فهناك عدد قليل من الشركات التي تملك أكثر من 20 ألف وحدة من GPU من نوع A/H100، بينما يمكن للباحثين الأفراد الوصول إلى مئات أو آلاف وحدات معالجة الرسوميات لمشروعاتهم الشخصية. والأبرز بين هؤلاء هم الباحثون في OpenAI وGoogle وAnthropic وInflection وX وMeta، حيث سيكون لديهم أعلى نسبة من موارد الحوسبة مقارنةً بعدد الباحثين.

فبعض هذه الشركات بالإضافة إلى عدة شركات صينية، ستملك أكثر من 100 ألف وحدة بحلول نهاية العام المقبل. وعلى الرغم من أننا لا نعرف النسبة المحددة للباحثين في الصين، لكننا نعلم حجم وحدات المعالجة المستخدمة.

يتفاخر كبار باحثي تعلم الآلة بعدد وحدات معالجة الرسوميات التي يملكونها أو التي سيتمكنون من الوصول إليها قريبًا. إذ أصبح هذا الاتجاه منتشرًا جدًا خلال الأشهر الأربعة الماضية، حتى أصبح نوعًا من مسابقة القياس التي تؤثر مباشرة في اختيار الباحثين لأماكن عملهم. وتستخدم Meta، التي ستملك ثاني أكبر عدد من وحدات H100 في العالم، هذا الأمر كاستراتيجية لجذب المواهب.

هناك العديد من الشركات الناشئة والباحثين في المصادر المفتوحة الذين يواجهون صعوبة بسبب وصول محدود لوحدات معالجة الرسوميات. إذ يقضون الكثير من الوقت والجهد في محاولات قد لا تؤتي ثمارها أو لا تكون ذات فائدة حقيقية. فعديد من الباحثين يقضون ساعات طويلة في تنقيح النماذج باستخدام وحدات معالجة لا تملك ذاكرة كافية. وهذه الطريقة تعد استخدامًا غير فعال لمهاراتهم ووقتهم.

يعتمد هؤلاء الباحثون نماذج ضخمة لتنقيح نماذج أصغر للحصول على نتائج أفضل في التقييم، دون النظر في الأهمية الحقيقية للنتائج أو دقتها. وأحيانًا يتجاهلون الحاجة لبيانات تدريب ذات جودة عالية.

يجب على هذه الشركات الصغيرة التركيز على تحسين أداء النموذج أو تقليل الوقت بين معالجة البيانات عبر تحسين قدرات الذاكرة. ولكن بدلاً من ذلك، يركزون على القيود المتعلقة بسعة الذاكرة وتقليل حجم البيانات.

وعلى صعيد آخر، تعاني عدة شركات معروفة في مجال الذكاء الاصطناعي من هذه المشكلة، مثل HuggingFace وDatabricks وTogether. على الرغم من أن لديهم باحثين من الطراز الأول، إلا أنهم يعملون على أنظمة ذات قدرات محدودة. ويحتاجون إلى استثمارات كبيرة لتحسين قدراتهم.

من جهة أخرى، تقوم Nvidia بتوسيع خدماتها وتقديم حلول متكاملة للشركات الكبرى. وقد أصبحت لديها قائمة طويلة من الشركات التي تعتمد على خدماتها.

في النهاية، هناك حاجة ماسة لبديل يمكنه تقديم حلول تنافسية والحد من الاعتماد الكبير على Nvidia.

تيتخدم جوجل وحدات معالجة الرسوميات (GPU) بكثرة لأغراضها الداخلية وتبيعها من خلال منصتها السحابية GCP. وعلى الرغم من هذا الاستخدام الواسع، لا تزال جوجل تمتلك مزايا تكنولوجية فريدة، أبرزها نموذج "Gemini" والنسخة الجديدة منه التي بدأت مرحلة التدريب عليها.

أهم ما يميز جوجل هو بنيتها التحتية المتطورة للذكاء الاصطناعي، والتي تعتبر أفضل من الأنظمة الأخرى في هذا المجال.

من المتوقع أن يشهد عدد وحدات المعالجة التي تمتلكها جوجل نموًا ملحوظًا، وقد يرتفع بمقدار أربع مرات خلال السنوات القادمة. وعند الحديث عن هذه الوحدات، يُشار إلى أن جوجل تمتلك تقنيات مثل TPUv4 المعروفة باسم "Pufferfish" وTPUv4 lite، وكذلك وحدات معالجة الرسوميات المستخدمة داخليًا. وعلى الرغم من وجود نسخة أخرى من التقنيات تُدعى TPUv5e (النسخة المصغرة)، فإنه يُتوقع أن تكون هذه الوحدات الأساسية في معالجة نماذج اللغة الصغيرة.

على الرغم من أن "جيميني" لا يزال في مراحل التطوير والتحسين، إلا أن ظهوره يمثل لحظة محورية محتملة لعالم الذكاء الاصطناعي. إنه لا يقدم فقط نظرة إلى مستقبل الذكاء الاصطناعي بل يعد بتغيير جذري في كيفية تفاعل البشر مع التكنولوجيا.