في خطوة جديدة نحو تحسين أداء نماذج الذكاء الاصطناعي، تم تقديم معيار MIRROR، الذي يتضمن ثمانية تجارب موزعة على أربعة مستويات معرفية. يهدف هذا المعيار إلى تقييم قدرة نماذج اللغات الضخمة (Large Language Models) على استغلال الوعي الذاتي في قراراتها.

عبر تقييم 16 نموذجًا من 8 مختبرات، تم إجراء تجارب على حوالي 250,000 حالة تقييم باستخدام خمسة قنوات قياس سلوكي مختلفة. نُفذت التجارب الأساسية على جميع النماذج، في حين تم استخدام مجموعات محددة للنماذج التي تتطلب بنى تحتية خاصة.

الكشف عن ظاهرتين لهما تأثيرات مباشرة على استخدام هذه النماذج:
1. فشل كبير في التنبؤ الذاتي - حيث تراوحت أخطاء المعايرة التراكمية (Compositional Calibration Error) من 0.500 إلى 0.943، مما يدل على عدم قدرة النماذج على التنبؤ بأدائها في مهام متعددة.
2. الأمثل - رغم تحقيق النماذج لمعدل نجاح فوق الوسط في المعرفة الذاتية المتعلقة بمجالات محددة، إلا أنها تفشل في تحويل هذه المعرفة الجزئية إلى أفعال مناسبة. أظهر التحكم الخارجي في الوعي الذاتي تخفيضًا للمعدل الفاشل من 0.600 إلى 0.143، مما يشير إلى ضرورة وجود دعم خارجي لتقليل المخاطر.

تشير النتائج إلى أن تحسين العمارة وليس مجرد تحسين المعرفة الذاتية هو الأكثر فعالية من أجل بلوغ أنظمة ذكاء صناعي مستقلة وآمنة. سيتم إصدار البيانات والأكواد المصاحبة للمعيار بشكل علني مما سيسهم في تعزيز التطور في هذا المجال.