فخاخ التقطير: أداة جديدة لضبط قابليّة النماذج اللغوية الكبيرة

يعتبر تقطير المعرفة (Knowledge Distillation) من الأدوات الأساسية المستخدمة لنقل قدرات النماذج اللغوية الكبيرة (Large Language Models) إلى نماذج أصغر. ومع ذلك، يواجه هذا الأسلوب تحديات غير متوقعة قد تؤدي إلى فشل العملية وزيادة مخاطر تسريب النموذج.

قامت دراسة حديثة بتحليل وفحص مختلف الفخاخ التي قد تواجه عملية التقطير، مثل ضجيج المؤخرة (tail noise) وعدم استقرار السياسات المبتعدة (off-policy instability)، بالإضافة إلى الفجوة بين المعلم والطالب (teacher-student gap)، حيث تعكس هذه العوامل إشارة التدريب بشكل سلبي.

تظهر هذه الفخاخ في صورة هلوسات واثقة للغاية، وانهيار التصحيح الذاتي، وتدهور التشفير المحلي، مما يؤدي إلى فشل عملية التقطير.

وفي ضوء هذه النتائج، تقدم الدراسة طريقة جديدة لتعديل قابليّة التقطير post-hoc، والتي تتيح لأول مرة التحكم في قابلية التقطير عبر عملية تحسين دقيقة معززة (Reinforcement Fine-Tuning).

تجمع هذه الطريقة بين تحقيق الفائدة من المهام، وثبات KL، ومكافأة ضبط التشفير عبر رموز متعددة، مما يجعل من القابلية للتحويل أداة أمان عملية لنماذج الأساس، وتربط بين نقل المعلم والطالب بشكل قوي مع الحماية المدروسة للنموذج.

تظهر التجارب، التي شملت مهام الرياضيات، والأسئلة حول المعرفة، واتباع التعليمات، أن الطلاب الذين تم تقطيرهم من معلمين مدربين بصورة قابلة للتقطير يظهرون أداءً أفضل مقارنة بأساسيات التقطير التعزيزي المدعوم (SFT) والنماذج التقليدية. وفي المقابل، يحتفظ المعلمون القابلون للتقطير بأداء مهامهم، ولكنهم قد يتسببون في انهيار الطلاب المقطّرين، مما يوفر أداة عملية لتحقيق تحسن في عملية التقطير وحماية حقوق النموذج الفكري وتنفيذ العمليات.