ثورة في معالجة الجمل: تحسين قدرات نماذج اللغة الكبيرة من خلال حدود الجملة

في آونة الأخيرة، أظهرت الأبحاث الجديدة في مجال الذكاء الاصطناعي (Artificial Intelligence) كيفية تعزيز قدرات نماذج اللغة الكبيرة (Large Language Models) عبر إدخال حدود جمل واضحة ضمن المدخلات. فعلى الرغم من أن الكثير من الدراسات السابقة قد ركزت على إدخال رموز وهمية (dummy tokens) لتحسين أداء النماذج، إلا أن الدراسات الحالية تشير إلى أن هذه النظرة قد تغفُّل عن الهيكلية الأساسية للجملة في اللغة الطبيعية.

السبب وراء أهمية هذا التحسين يكمن في طريقة تعلم نماذج اللغة؛ حيث أنه يتم تدريبها باستخدام نصوص تم إنتاجها بواسطة البشر، مما يعني أن البنية الجملية تلعب دوراً أساسياً في تحسين فهم هذه النماذج للنصوص.

في تجربتنا، قمنا بإجراء اختبارين رئيسيين: الأول يعتمد على التعلم داخل السياق (in-context learning)، والثاني يعتمد على المعالجة الفائقة (supervised fine-tuning)، مستخدمين نماذج بحجم يتراوح من 7 إلى 600 مليار معلمة. أظهرت النتائج تحسناً ملحوظاً في الأداء، مع زيادات تصل إلى 7.7% في مجموعة بيانات GSM8k و12.5% في مجموعة DROP. بل والأهم، أظهرت النماذج التي خضعت للتعديل دراية جملية واضحة، مما يعكس تطوراً في تمثيلاتها الداخلية.

كل هذه التطورات تشير إلى إمكانية تصميم نماذج لغوية مستوحاة من التفكير المعرفي (cognitive-inspired models) والتي ستكون أكثر قدرة على التعامل مع النصوص بشكل فعال ودقيق. هل يمكن اعتبار هذا المنهج خطوة جديدة نحو تحسين ذكاء الآلة؟