في تجربة رائدة، تقدم دراسة جديدة إطار عمل **PSA-Eval**، الذي يركز على تقييم الأخطاء بدلاً من الاعتماد على درجات الأداء التقليدية. يكمن جوهر هذه الدراسة في إدراك أن النجاح في تقييم أنظمة الوكلاء ثلاثي اللغة يتطلب انتقالاً من تقييم ثابت يعتمد على المدخلات والمخرجات إلى تحليل ديناميكي يعتمد على الأداء الفعلي أثناء التشغيل.
ما هو إطار PSA-Eval؟
**PSA-Eval** هو إطار تقييم يهدف إلى تحسين الأداء من خلال فهم الأخطاء التي تحدث في الواقع. حيث يتمثل الشكل الجديد لعملية التقييم في تحويل التسلسل التقليدي
`سؤال -> إجابة -> درجة -> نهاية` إلى تسلسل أكثر تعقيدًا ووضوحًا:
`سؤال -> دفعة -> تشغيل -> درجة -> حالة الخطأ -> إصلاح -> دفع الانتكاس`.
تساعد هذه النقلة في جعل الأخطاء قابلة للتتبع والمراجعة والإصلاح، مما يوفر رؤى قيمة حول كيفية تجاوز العوائق اللغوية.
دراسة حالة على نظام حقيقي
اجري الباحثون تجربة على نظام مكتب رقمي ثلاثي اللغة في مدخل مؤسسة مالية دولية. تم تنظيم 81 عينة ضمن 27 مجموعة من الأسئلة المعادلة ثلاثي اللغة. ورغم أن النظام حقق متوسط درجة تقدر بـ **23.15 من 24**، إلا أنه جرى ملاحظة تراجع عابر في النقاط بين اللغات في 14 مجموعة، مع حدوث انزلاق يصل إلى 9 نقاط في بعض الحالات.
هذه النتائج تشير إلى أن تركيز التقييم على الأخطاء يمكن أن يكشف عن إشارات هيكلية من النشر غالبًا ما تكون خفية عند الاعتماد على الدرجات الإجمالية فقط.
**فما هي أفكاركم حول إطار PSA-Eval؟ وهل تعتبرون أن التركيز على الأخطاء هو توجه جديد ومفيد في تقييم الأداء؟**