قفزة مذهلة في تحليل الأنظمة الذكية: اكتشاف أسباب تعثر النماذج في المهام طويلة المدى!

تعتبر نماذج اللغات الضخمة (Large Language Models) من التقنيات الرائدة في عالم الذكاء الاصطناعي، حيث أثبتت قدرتها العالية في إنجاز المهام القصيرة والمتوسطة. ولكنها تواجه تحديًا كبيرًا عندما يتعلق الأمر بالمهام طويلة المدى التي تتطلب تسلسلات عمل مترابطة ومعقدة.

في هذا السياق، قامت دراسة حديثة بإطلاق نظام HORIZON، وهو معيار تشخيصي شامل يهدف إلى فهم وتحليل أسباب الفشل الذي تعاني منه الأنظمة الذكية في مثل هذه الأوضاع. يعكس هذا البرنامج الحاجة الملحة لفهم هذه العوائق لتطوير نماذج أكثر كفاءة وموثوقية.

قام الباحثون بتقييم نماذج رائدة مثل نسخ GPT-5 ونماذج Claude، حيث جمعوا أكثر من 3100 مسار من أربعة مجالات نموذجية، لدراسة الأنماط المميزة لفشل الأنظمة خلال المهام طويلة المدى. عبر استخدام HORIZON، توصلوا إلى استنتاجات مهمة بالإضافة إلى اقتراح آلية جديدة تُعرف باسم LLM-as-a-Judge، التي تمكّن من تحديد أسباب الفشل بشكل موثوق.

أظهرت النتائج توافقًا قويًا مع التحليلات البشرية (معدل kappa=0.61 مع المحكمين، و0.84 مع الحكم البشري)، مما يسهم في تطوير استراتيجيات فعالة وموثوقة لتحسين أداء النماذج في المهام الطويلة. ويمكنكم الاطلاع على المزيد من التفاصيل عبر زيارة موقع المشروع HORIZON Leaderboard، حيث يُرحب بالمساهمات من قبل المجتمع.