يُشاع أن OpenAI تعمل على الجيل التالي من نموذج اللغة الكبير الرائد (LLM)، ومع ذلك، ربما تكون قد وصلت إلى عنق الزجاجة. وفقًا للتقرير، تكافح شركة الذكاء الاصطناعي ومقرها سان فرانسيسكو من أجل ترقية قدرات نموذج الذكاء الاصطناعي التالي الخاص بها بشكل كبير، والذي يحمل الاسم الرمزي Orion داخليًا. ويقال إن النموذج يتفوق على النماذج القديمة عندما يتعلق الأمر بالمهام القائمة على اللغة، ولكنه مخيب للآمال في بعض المهام مثل البرمجة. ومن الجدير بالذكر أن الشركة أيضًا تكافح من أجل تجميع بيانات تدريب كافية لتدريب نماذج الذكاء الاصطناعي بشكل صحيح.
يقال إن نموذج Orion AI الخاص بـ OpenAI فشل في إظهار تحسينات كبيرة
المعلومات ذكرت أن برنامج LLM الرئيسي التالي لشركة الذكاء الاصطناعي، Orion، لا يعمل وفقًا للتوقعات عندما يتعلق الأمر بالمهام المتعلقة بالبرمجة. ونقلاً عن موظفين لم يذكر أسماءهم، ادعى التقرير أن نموذج الذكاء الاصطناعي أظهر ترقية كبيرة عندما يتعلق الأمر بالمهام القائمة على اللغة، ولكن بعض المهام كانت مخيبة للآمال.
تعتبر هذه مشكلة رئيسية حيث يقال إن تشغيل Orion في مراكز بيانات OpenAI أكثر تكلفة مقارنة بالنماذج الأقدم مثل GPT-4 وGPT-4o. قد تشكل نسبة التكلفة إلى الأداء الخاصة ببرنامج LLM القادم تحديًا للشركة لجعلها جذابة للمؤسسات والمشتركين.
بالإضافة إلى ذلك، ادعى التقرير أيضًا أن القفزة الشاملة في الجودة بين GPT-4 وOrion أقل من القفزة بين GPT-3 وGPT-4. يعد هذا تطورًا مثيرًا للقلق، ومع ذلك، فقد تم ملاحظة هذا الاتجاه أيضًا في نماذج الذكاء الاصطناعي الأخرى التي تم إصدارها مؤخرًا من قبل المنافسين مثل Anthropic وMistral.
على سبيل المثال، تُظهر النتائج القياسية لـ Claude 3.5 Sonnet أن قفزة الجودة تكون أكثر تكرارًا مع كل نموذج أساس جديد. ومع ذلك، فقد تجنب المنافسون الاهتمام إلى حد كبير من خلال التركيز على تطوير قدرات جديدة مثل الذكاء الاصطناعي الوكيل.
وفي التقرير، أبرز المنشور أيضًا أن الصناعة، كوسيلة لمواجهة هذا التحدي، تختار تحسين نموذج الذكاء الاصطناعي بعد اكتمال التدريب الأولي. ويمكن القيام بذلك عن طريق ضبط الإخراج عن طريق إضافة مرشحات إضافية. ومع ذلك، يعد هذا حلاً بديلاً ولا يعوض القيد الذي يحدث بسبب إطار العمل أو نقص البيانات الكافية.
في حين أن الأول يمثل تحديًا تكنولوجيًا وبحثيًا، فإن الأخير يرجع إلى حد كبير إلى توفر البيانات المجانية والمرخصة. لحل هذه المشكلة، يقال إن OpenAI أنشأت فريقًا أساسيًا مكلفًا بإيجاد طريقة للتعامل مع نقص بيانات التدريب. ومع ذلك، لا يمكن القول ما إذا كان هذا الفريق سيكون قادرًا على الحصول على المزيد من البيانات في الوقت المناسب لمواصلة تدريب وتحسين قدرات أوريون.
