في عالم الذكاء الاصطناعي، تتعرض نماذج اللغات الضخمة (Large Language Models) لظاهرة مثيرة للجدل تُعرف بالتخيل (Hallucination)، حيث تقوم بإصدار بيانات غير دقيقة تماماً. هل تساءلت عن الأسباب وراء ذلك؟ تكمن أحد المصادر الرئيسية لهذه الأخطاء في تعرض النماذج لمعلومات جديدة أثناء عملية التعديل الدقيق (Supervised Fine-Tuning - SFT).

تشير الأبحاث إلى أن هذه العمليات يمكن أن تؤدي إلى زيادة الأخطاء المتعلقة بالمعلومات التي اكتسبتها النماذج خلال فترة التدريب الأولية. لذا، شرعت مجموعة من الباحثين في دراسة كيفية تقليص ظاهرة التخيل المرتبطة بالتعديل الدقيق، بالاستناد إلى أدوات من أدبيات التعلم المستمر (Continual Learning).

تم اقتراح طريقة جديدة تعتمد على أسلوب الاستخراج الذاتي (Self-Distillation) من أجل تعزيز التعلم الواقعي وتقليل تلك الأخطاء، حيث يقوم هذا الأسلوب بتقليل الانحراف في توزيع البيانات الناتجة. وتم إثبات أن الأمر يتطلب الحد من التغيرات الجوهرية في المعرفة عندما لا تكون هناك حاجة لمعلومات جديدة، من خلال تجميد مجموعات معينة من المعلمات، مما يساعد على الحفاظ على أداء المهام وتقليل الأخطاء.

من ناحية أخرى، استعرض الباحثون ثلاث فرضيات لفهم آلية التخيل الناجم عن التعديل الدقيق، مثل قيود السعة (Capacity Limitations)، استنساخ السلوك (Behavior Cloning)، والتداخل المحلي (Localized Interference). وقد أظهرت التجارب أن أحد الأسباب الرئيسية هو التداخل بين التمثيلات الدلالية المتداخلة، وأن استخدام تقنية الاستخراج الذاتي يساهم في التخفيف من هذا التداخل.