تحليل نسب الإسناد لنماذج اللغة الكبيرة: استراتيجيات تفصيلية وأساليب متقدمة

في عالم الذكاء الاصطناعي، تمثل نماذج اللغة الكبيرة (LLMs) ثورة حقيقية في كيفية تطبيق الشيفرة الآلية. ومع ذلك، فإن معظم الأبحاث الحالية تركز فقط على الأداء، دون إيلاء اهتمام كبير لفهم كيفية تأثير خيارات التدريب على سلوك هذه النماذج. هذه الفجوة تم تناولها في دراسة حديثة تبرز أهمية التحليل الدقيق لنسب الإسناد.

تقوم هذه الدراسة بإجراء تحليل قائم على الاضطراب لمقارنة سلوكيات نماذج اللغة الكبيرة عبر استراتيجيات تخصيص مختلفة مثل التخصيص الكامل (Full Fine-Tuning)، التكيف منخفض الرتبة (Low-Rank Adaptation)، والتخصيص الكمي (Quantized LoRA Fine-tuning). أيضًا، تستعرض الدراسة التأثير الناتج عن أحجام النماذج المختلفة التي تشمل تنوع أحجام المعلمات.

تشير النتائج إلى أن التخصيص الكامل ينتج أنماط إسناد تختلف بشكل إحصائي وتكون أكثر تركيزاً مقارنة بأساليب التخصيص الفعالة من حيث المعلمات. علاوة على ذلك، كلما زادت أحجام النماذج، تطور استراتيجيات تفسيرية محددة مثل إعطاء الأولوية للقيود العددية ومعرّفات القواعد في بناء النص، بينما تتوقف مكاسب الأداء في التشابه الدلالي للقواعد المعالجة آليًا عند نماذج أكبر من 7 مليارات معلمة.

تقدم هذه الدراسة رؤى حاسمة حول قابلية تفسير هذه النماذج، مما يساهم في بناء نماذج أكثر شفافية تناسب المهام التنظيمية الحرجة في صناعة الهندسة والبناء.