ثورة في تقييم نماذج الذكاء الاصطناعي: تقييم دقيق لقدرات النماذج اللغوية

في عالم الذكاء الاصطناعي، يعتمد تقييم أداء نماذج اللغات الضخمة (Large Language Models) عادةً على تجميع نتائجها في مهام متعددة ضمن درجات عامة. ولكن، هل تساءلت يومًا عن دقة هذه التقييمات وهل تعكس فعليًا قدرات النماذج في كل مهمة على حدة؟

دراسة جديدة ناقشت هذا الموضوع بإسهاب، حيث اقترحت إطارًا تشخيصيًا يهدف إلى تقدير قدرات النماذج عبر أبعاد دقيقة متعددة. بالنسبة لمجال الرياضيات، تم إنشاء تصنيف للقدرات يتكون من 35 بُعدًا مستندًا إلى النظرية المعرفية والمعرفة المكتسبة.

الإطار الجديد يعتمد على نظرية استجابة العناصر متعددة الأبعاد (Multidimensional Item Response Theory)، حيث يتم استخدام مصفوفة ارتباط العناصر بالقدرة لتقدير المستويات الدقيقة للقدرات. هذا يمكن النماذج من التنبؤ بالأداء على العناصر غير المرئية - أي الأسئلة الرئيسية - بشكل أكثر دقة.

عند تقييم 41 نموذجًا، أظهرت الطريقة الجديدة صلاحية معيارية قوية، إذ تقدم تقديرات متسقة للقدرات على أساس المعايير المختلفة، مع دقة تنبؤ تتراوح بين 0.80 إلى 0.89 داخل المعايير ومن 0.77 إلى 0.86 عبر المعايير، مما يتجاوز بشكل كبير النماذج البسيطة.

الأكثر إثارة للاهتمام هو أن هذا الإطار يتجاوز علوم الرياضيات ليشمل مجالات علمية أخرى مثل الفيزياء (27 بُعدًا)، الكيمياء (58 بُعدًا)، وعلوم الكمبيوتر (12 بُعدًا). هذا العمل يفتح آفاقًا جديدة للتدريب المستهدف، واختيار النماذج وفقًا للقدرات، وتصميم معايير تدرك تلك القدرات. في ظل هذا التطور، يبدو أن عصر جديد من تقييم القدرات يلوح في الأفق، مما ينتج عنه تحسينات مثيرة في كيفية استخدام نماذج الذكاء الاصطناعي.

ما رأيكم في هذا التطور؟ شاركونا في التعليقات.