في عالم الذكاء الاصطناعي ونماذج اللغات (Large Language Models)، يعد التقييم القائم على المعايير (Rubric-based evaluation) أحد أدوات التقييم الرئيسية المستخدمة في معايير الاختبار والتدريب للمهام المفتوحة والتي قد لا تكون قابلة للتحقق بسهولة. على الرغم من نجاح الأبحاث السابقة في إثبات فعالية هذه المعايير من خلال مؤشرات النتائج اللاحقة مثل نتائج التعلم المعزز، إلا أنه لم يكن هناك طريقة منهجية لتشخيص كيفية فشل هذا التقييم ذاته استنادًا إلى المؤشرات Aggregated أو النتائج اللاحقة.

لمعالجة هذه الفجوة، نقدم RIFT: تصنيف فشل المعايير، والذي يعد تصنيفًا منهجيًا لفهم وتصنيف أنماط الفشل في تكوين وتصميم المعايير. يتضمن RIFT ثمانية أنماط فشل منظمة ضمن ثلاث فئات رئيسية: فشل الموثوقية (Reliability Failures)، وفشل صلاحية المحتوى (Content Validity Failures)، وفشل صلاحية النتائج (Consequential Validity Failures).

تم تطوير RIFT باستخدام نظرية مفهومية من خلال تعليق المعايير المأخوذة من خمسة مصادر بيانات متنوعة تشمل القرارات العامة، وتوليد الأكواد، والكتابة الإبداعية، والأبحاث العميقة المتخصصة، حتى لم يتم التعرف على أنماط فشل جديدة.

لقد قيمنا اتساق التصنيف من خلال قياس التوافق بين المراجعين البشريين المستقلين، حيث أظهرنا توافقًا ملحوظًا (87% توافق ثنائي و0.64 متوسط كابا كوهين). أخيرًا، لدعم تشخيص قابل للتوسع، نقترح مقاييس جودة آلية للمعايير ونظهر أنها تتماشى مع تعليقات الفشل البشرية، حيث حققنا حتى 0.925 F1 في التقييم.

RIFT يمثل خطوة هامة نحو تحسين مصداقية وكفاءة تقييم مهام الذكاء الاصطناعي، مما يفتح آفاقًا جديدة لتطوير نماذج لغوية أكثر مرونة وفعالية. ما رأيكم في هذا التطور؟ شاركونا في التعليقات.