استكشاف أهمية التوكنات في استخراج المعرفة: كيف تعزز تعلم الطلاب الذكي؟

في عالم الذكاء الاصطناعي المتسارع، يعد استخراج المعرفة من السياسات (On-Policy Knowledge Distillation) تقنية حديثة تُستخدم لتدريب النماذج الذكية (AI Models) من خلال إشراف تفصيلي على مستوى التوكن (Token-level supervision). ولكن هل تساءلت يومًا عن أي التوكنات هي الأكثر أهمية في تعزيز تعلم الطلاب الذكي؟

كشف بحث جديد عن إجابة هذا السؤال، حيث أشار الباحثون إلى أن فعالية التوكنات تتوزع على منطقتين رئيسيتين: أولاهما تلك التي تتمتع بارتفاع حماسة الطلاب (High Student Entropy)، والثانية تلك التي تتمتع بانخفاض حماسة طلاب مع تباين عالٍ بين المعلم والطالب (High Teacher-Student Divergence)، حيث يكون الطالب واثقًا بشكل خاطئ.

تُظهر التجارب أن الاحتفاظ بنسبة 50% من التوكنات باستخدام أسلوب يعتمد على حماسة الطلاب يمكن أن يتفوق أو يعادل أداء التدريب على جميع التوكنات، مع تقليل استخدام الذاكرة بنسبة تصل إلى 47%. ولكن لم تكن حماسة الطلاب وحدها كافية لتحديد المناطق الأساسية الأخرى.

عندما تم تقليل التدريب إلى أقل من 10% من جميع التوكنات ذات التباين العالي، أظهر أداءً يقارب القواعد الكاملة، مما يدل على أن التوكنات التي تعبر عن الثقة الزائدة تحمل إشارات تصحيحية غزيرة، رغم أنها قد تبدو غير واضحة عند اعتماد حماسة الطلاب فقط.

لتنظيم هذه النتائج، طوّر الباحثون نموذجًا تصنيفيًا يسمى TIP (Token Importance in On-Policy Distillation)، الذي يعتمد على محاور حماسة الطلاب وتباين المعلم والطالب. يستند هذا النموذج إلى تفسيرات نظرية توضح لماذا تعتبر حماسة الطلاب مفيدة لكنها غير مكتملة هيكليًا. حيث يُحفز هذا النموذج تطوير قواعد اختيار توكنات واعية لنوع التوكن تعتمد على عدم اليقين والاختلاف.

تم اختبار هذه الافتراضات عبر ثلاثة أزواج من المعلمين والطلاب (Qwen3، Llama، وQwen2.5) على مجموعة بيانات MATH-500 وAIME 2024/2025، وكذلك على معيار DeepPlanning للتخطيط الذكي على المدى الطويل، حيث أظهرت التدريبات على أقل من 20% من التوكنات نتائج تتجاوز جميع ممارسات OPD.

نستنتج من هذه الأبحاث أن تحسين طرق استخراج المعرفة في النماذج الذكية يعتمد على فهم أعمق للتوكنات وأهميتها، مما يعزز من فعالية تطبيقات الذكاء الاصطناعي المستقبلية.

ما رأيكم في هذا التطور في ميدان الذكاء الاصطناعي؟ شاركونا آراءكم وتجاربكم في التعليقات!