من المشاعر إلى المقاييس: فهم كيفية تقييم نماذج اللغات الضخمة بشكل فعّال

تعتبر نماذج اللغات الضخمة (LLMs) من العناصر الأساسية في عالم الذكاء الاصطناعي اليوم. ولكن، يواجه تقييم هذه النماذج تحديات كبيرة تُعيق فهم مدى فعاليتها في العالم الحقيقي. غالبًا ما تُظهر درجات الاختبار التقليدية قصورًا في التقاط الفائدة الحقيقية للنماذج عند استخدامها في السيناريوهات العملية. هنا يأتي دور أسلوب 'اختبار المشاعر' (Vibe-Testing) الذي يعتمد على التقييم غير الرسمي لخبرات المستخدم، حيث يقوم الأفراد بمقارنة أداء النماذج في مهام مرتبطة بأعمالهم الخاصة.

هذا الأسلوب قد يكون سطحيًا وغير منظم، مما يصعب على الباحثين والإداريين إعادة إنتاج هذه التحليلات على نطاق واسع. لكن الدراسة الجديدة تسلط الضوء على كيفية عمل 'اختبار المشاعر' فعليًا، وتعمل على تنظيم هذا الأسلوب لدعم التحليل المنهجي.

استند الباحثون إلى موارد تجريبية مثل استبيانات لممارسات تقييم المستخدمين ومجموعة من تقارير مقارنة النماذج من المدونات ووسائل التواصل الاجتماعي. ومن خلال هذه الموارد، قاموا بتطوير مفهوم 'اختبار المشاعر' كعملية تتكون من جزئين: يقوم المستخدمون بتخصيص ما يقومون باختباره وكيفية تقديرهم للإجابات.

تم اقتراح خط أنابيب تجريبي يقوم بإنتاج مطالبات شخصية (Personalized Prompts) ومقارنة مخرجات النماذج باستخدام معايير تقييم ذات طابع شخصي. وأثبتت التجارب على معايير البرمجة أن دمج هذه المطالبات الشخصية والتقييم المعتمد على المستخدم قد يغير من تفضيلات النموذج، مما يعكس دور 'اختبار المشاعر' في الممارسة العملية.

تشير النتائج إلى أن تنظيم 'اختبار المشاعر' يمكن أن يكون نهجًا مفيدًا للجسر بين درجات الاختبار الرسمية والتجارب الحقيقية للمستخدمين. في هذا الصدد، يبقى السؤال: كيف يمكن لمؤسساتنا استغلال هذه المناهج لتحسين أداء نماذج الذكاء الاصطناعي؟