في عالم **الذكاء الاصطناعي**، تشهد النماذج اللغوية الكبيرة (Large Language Models - LLMs) تطورات مذهلة، حيث تسلط دراسة جديدة الضوء على كيفية تأثير انحناءات التمثيل (Representational Curvature) على *احتمالات* توقّع الكلمات في هذه النماذج.
انحناء السياق وعلاقته بإنعدام اليقين
تُظهر الأبحاث الجديدة أن انحناء التمثيل للسياق - وهو مقياس هندسي يُظهر مدى حدة انحناء مسار تمثيل المدخلات عبر الزمن - يرتبط ارتباطًا وثيقًا بـ *احتمالية عدم اليقين* (Entropy) في توقّع الكلمات. على الرغم من أن نماذج مثل **GPT-2 XL** و**Pythia-2.8B** يمكن أن تُنتج نصوصًا متماسكة، إلا أن وجود علاقة واضحة بين انحناء السياق والسلوك القائم على *التوكنات* (Tokens) كان مفقودًا حتى الآن.
ربط الانحناءات بالسلوك القائم على التوكنات
عبر التجارب، تم اكتشاف أن تعديل انحناءات التمثيل له تأثير واضح على *احتمالية عدم اليقين*. حيث أن التدخلات المستهدفة التي تُعدل هذه الانحناءات تؤدي إلى تغييرات ملحوظة في الإخراجات، في حين أن التعديلات العشوائية لم تؤدي إلى أي تأثير، مما يشير إلى أهمية انحناء التمثيل في النماذج. علاوة على ذلك، فإن تنظيم التمثيلات لتكون أكثر استقامة أثناء التدريب يقلل بشكل معتدل من *احتمالية عدم اليقين* دون التأثير على دقة النتائج أثناء التحقق.
استنتاجات مذهلة
تحدد هذه النتائج انحناء المسار كسمات تمثيلية تتوافق مع المهام، وتؤثر على عدم اليقين السلوكي في نماذج اللغة الكبيرة. هذه المعرفة الجديدة تعزز فهمنا لكيفية عمل **الذكاء الاصطناعي** وتفتح المجال لمزيد من الابتكارات في هذا المجال.