في عالم الذكاء الاصطناعي، باتت نماذج اللغة الكبيرة (LLMs) تعمل كقضاة لتعزيز موثوقية تقييم النتائج. ومع ذلك، فإن هذه النماذج تعاني من تحيزات منهجية قد تؤثر على موثوقية التقييمات. في دراسة شاملة، تم تقييم تسع استراتيجيات لمكافحة التحيز عبر خمسة نماذج قضاة من أربع أسر مزودة (Google وAnthropic وOpenAI وMeta)، بالإضافة إلى ثلاثة معايير (MT-Bench وLLMBar ومجموعة مخصصة) وأربعة أنواع من التحيز.
النتائج الرئيسية
1. **تحيّز الأسلوب** - يعتبر التحيز الأسلوبي المهيمن حيث بلغ مستواه من 0.76 إلى 0.92 عبر جميع النماذج، متجاوزاً تحيزات الموقع التي كانت <= 0.04، لكن لم تحظَ هذه النقطة بالاهتمام الكافي بعد.
2. **تفضيل الإيجاز** - جميع النماذج أظهرت تفضيلًا للإيجاز في الأزواج التوسعية، لكن الضوابط أثبتت قدرتها على التمييز بشكل صحيح بين الجودة والطول بدقة تتراوح بين 0.92 و1.00، مما يشير إلى أهمية تقييم الجودة بدلاً من الاعتماد فقط على طول النص.
3. **فائدة مكافحة التحيز** - تُظهر الاستراتيجيات نتائج مفيدة، لكنها تعتمد على النموذج. حقق تطبيق استراتيجية الميزانية المجمعة تحسناً ملحوظًا في Claude Sonnet 4 بنسبة +11.2 نقطة مئوية (p < 0.0001)، مع اتجاهات إيجابية ملحوظة في النماذج الأخرى.
وفي الختام، لا تظهر سوى اثنين من أصل عشرين تكوينًا غير أساسي اتفاقًا أقل. تم إصدار إطار التقييم، ومجموعة البيانات المراقبة، وجميع المواد التجريبية [على GitHub](https://github.com/sksoumik/llm-as-judge).
ما هو رأيك في التحديات المتعلقة بالتحيز في نماذج الذكاء الاصطناعي؟