هل تساءلت يوماً عن كيفية تحسين ثقة نماذج اللغة عند تنفيذ المهام المختلفة؟ دراسة جديدة تبرز نتائج مختلطة مثيرة للاهتمام حول نموذج Gemma 3 4B، حيث تسلط الضوء على الفجوة بين المعلومات الداخلية وقراءة النص اللغوي.
نتائج مختلطة
في التجربة، تم استخدام نموذج متوسط (Instruct-Tuned LLM) لإنتاج ثقة لفظية منخفضة جدًا تحت التحفيز القليل، متجاوزة السقف بنسبة تفوق 95%، لكن النتيجة كانت قريبة من الصدفة (Chance) فيما يتعلق بمعدل الأخطاء من النوع الثاني (Type-2 AUROC). كما كشفت نتائج عدم صلاحية واضحة.
محاولة الإنقاذ
تم اختبار تأثير الخوارزميات المعززة من خلال تدريب موجه بالثقة الشرطية مع أهداف مستندة إلى الثقة الذاتية، ولكن النتائج لم تأت كما هو متوقع. حيث أظهرت استجابة سلبية عندما تم تطبيق نموذج بحظر يقتصر على العناصر ذات الأجوبة الصحيحة، مما أدى إلى تدهور AUROC2 من 0.554 إلى 0.509 بسبب انهيار الحواص الكثيفة.
ومع ذلك، قامت دراسة استكشافية بتعديل الاستراتيجية لإزالة الفلترة، مما أتاح التدريب على جميع العناصر البالغ عددها 2000، مما أدى إلى تحقيق معيارية شخصيات متعددة تصل إلى AUROC2 = 0.774.
نتائج جديدة ودروس مستفادة
نتائج هذا البحث تعكس تحسناً ملحوظًا، حيث ارتفعت دقة نموذج MMLU، من 54.2% إلى 77.4% في اختبارات الصلاحية، مما يدعم أهمية الأهداف الصحيحة في تنظيم تنسيق الإخراج.
الخلاصة
تشير الدراسة إلى درسين هامين في تصميم نماذج الذكاء الاصطناعي: الحاجة إلى كثافة العلامات للتدريب على الثقة، وأهمية وجود أهداف دقيقة لتنظيم مخرجات النماذج. كيف يمكن لتحسينات بسيطة أن تغير توقعاتنا حول تصرفات الذكاء الاصطناعي؟