في عالم تتسارع فيه وتيرة التطورات في مجال الذكاء الاصطناعي، تظهر الحاجة الملحة لتقييم حقيقي وقدرات النماذج المعقدة. هكذا جاء إعلان XpertBench، معيار جديد مصمم لتقييم الأداء في المهام المتقدمة التي تعكس مستويات التفكير الخبيرة.

تظهر نماذج اللغات الضخمة (Large Language Models) حالة من الجمود في أدائها على المقاييس التقليدية، مما يجعل التحدي الأخطر هو القدرة على تقييم كفاءتها في المهام المفتوحة والمعقدة. معظم الأنظمة الحالية تفشل في توفير تغطية شاملة أو تعاني من التحيزات الذاتية.

XpertBench يأتي ليملأ هذا الفراغ، حيث يتكون من 1,346 مهمة تم تنسيقها بعناية عبر 80 فئة مختلفة تشمل مجالات مثل المالية، والرعاية الصحية، والخدمات القانونية، والتعليم، إلى جانب الأبحاث المزدوجة (STEM والعلوم الإنسانية). تم جمع هذه المهام من أكثر من 1,000 مساهمة من خبراء في مجالاتهم، مما يضمن صحة ذات مصداقية عالية.

كل مهمة تتضمن معايير تقييم تفصيلية تحتوي على 15-40 نقطة تقييم، مما يضمن دقة التقييم المهني. وإذا كانت هذه البداية مثيرة، فإننا مصممون أيضًا على توسيع آليات التقييم عبر تقديم “ShotJudge”، معيار تقييم مبتكر يستخدم قضاة من نماذج اللغات الضخمة المدربّة على مسائل محددة لتقليل التحيزات الذاتية.

أظهرت التقييمات التجريبية لأحدث نماذج اللغات الضخمة أن هناك سقفًا مقلقًا للأداء: حتى النماذج الرائدة لم تحقق سوى نسبة نجاح تبلغ حوالي 66%، مع متوسط نقاط لا يتجاوز 55%. وبرزت الفجوة النمطية في القدرة، حيث أظهرت النماذج نقاط قوة غير متداخلة في التحليل الكمي مقابل التركيب اللغوي.

هذه النتائج تثير القلق حول الفجوة في الأداء البشري والحاجة الماسة لتطوير نماذج ذكاء اصطناعي متخصصة. لذا، فإن XpertBench يعد أداة محورية للتوجه نحو مساعدة الذكاء الاصطناعي في المجالات الاحترافية.