ثورة في تحسين نماذج اللغة: التدريب الذاتي التوقعي بين الأقران

في عالم الذكاء الاصطناعي، يُعتبر تحسين نماذج اللغة (Language Models) تحديًا مستمرًا. ومع ذلك، فقد تم الكشف عن تقنيات جديدة تفتح آفاقًا للتطوير الذاتي دون الاعتماد على إشراف خارجي. إحدى هذه التقنيات هي "التدريب الذاتي التوقعي بين الأقران" (Peer-Predictive Self-Training - PST).

تعتمد PST على فكرة رئيسية، حيث تتعاون نماذج متعددة في تحسين دقتها عن طريق استخدام استجابات متقاطعة كإشارة تدريب داخلية. عند طرح سؤال، تقوم النماذج بتوليد إجابات بشكل متسلسل. ثم يتم تجميع هذه الإجابات لتكوين إجابة نهائية تكون غالبًا أكثر موثوقية مقارنة بالإجابات الفردية.

تُقاس المعلوماتية لكل استجابة متوسطة من خلال معيار يسمى "المعلومات المتبادلة النقطية" (Pointwise Mutual Information - PMI)، مما يتيح تعديل تحديثات التدريب الذاتي بشكل متوازن. بعض الاستجابات التي تتماشى مع الإجماع يتم تحديثها بشكل أقل، بينما تلك الأقل معلوماتية أو غير المتوافقة تُحدث بشكل أكبر.

أظهرت التجارب في اختبارات التفكير الرياضي مثل "SimulEq" و"Math500" و"MultiArith" أن PST تمكنت من تحسين دقة المطابقة الدقيقة (Exact-Match Accuracy) ما بين 2.2 إلى 4.3 نقطة مئوية، كما أنخفض فجوة المولّد والتحقق (Generator-Verifier Gap) بنسبة تتراوح بين 26 إلى 40 بالمئة، كل ذلك دون الحاجة إلى إشراف خارجي أو هرمية معلم-طالب، معتمدة فقط على التفاعلات بين النماذج.

تشير هذه النتائج إلى أن توليد النماذج المتقاطعة والتقييم التوقعي بين الأقران يمكن أن يكونا نهجًا فعّالًا للتدريب الذاتي. هل لديك رأي حول هذه الطريقة الجديدة؟ شاركنا أفكارك في التعليقات.