تواجه نماذج اللغات الضخمة (LLMs) تحديًا شائعًا يتمثل في توليد اقتباسات زائفة تبدو مقنعة إلى حد كبير، حيث تُظهر هذه النماذج ثقة عالية حتى في وجود مرجع غير صحيح. قام الباحثون بدراسة هذه المشكلة عبر تسعة نماذج مختلفة وتحليل أكثر من 108,000 مرجع تم توليده، ووجدوا أن أسماء المؤلفين هي الأكثر عرضة للخطأ بالمقارنة بباقي المعلومات.

أظهرت الدراسة أن نمط الاقتباس لا يؤثر بشكل ملموس على دقة المراجع، بينما يظهر أن تقنيات التركيز على التفكير تؤدي إلى تدهور ذاكرة النماذج. بالإضافة إلى ذلك، أظهرت قياسات الاستكشاف التي تم تدريبها على مجال معين فاعلية ضعيفة عند محاولة تطبيقها على مجالات أخرى، مما يدل على أن إشارات الهلاوس لا تنتشر بين المجالات.

استنادًا إلى هذه النتائج، قام الباحثون بتطبيق تنظيم الشبكة المرنة (elastic-net regularization) مع اختيار الاستقرار لتحليل قيم الخلايا العصبية لموديل Qwen2.5-32B-Instruct، وقد تمكنوا من تحديد مجموعة نادرة من الخلايا العصبية الخاصة بالهلاوس (FH-neurons). أكدت التدخلات السببية دور هذه الخلايا العصبية، حيث أدى تعزيز نشاطها إلى زيادة الهلاوس، بينما ساهم كبتها في تحسين الأداء عبر مجموعة متنوعة من المجالات، مع تحسين أكبر في بعض المجالات.

تشير نتائج هذه الدراسة إلى إمكانية تنفيذ حلول خفيفة الوزن لاكتشاف وتقليل الهلاوس في الاقتباسات باستخدام إشارات داخلية من النماذج، مما قد يؤدي إلى تحسين مستقبلي لدقة نماذج الذكاء الاصطناعي.