تأثير كُلُّبَك-ليبلر على نماذج الذكاء الاصطناعي: تحسين فعالية نماذج SST-Transformer ذات الدقة المختلطة

تشير الأبحاث الأخيرة إلى التحديات الكبيرة التي تواجه نشر نماذج اللغة الكبيرة (Large Language Models - LLMs) على الأجهزة الطرفية، حيث تواجه مشكلات هائلة في القدرة الحاسوبية والذاكرة. ولكن الحلول الجديدة، مثل دمج نماذج الحالة الهيكلية (Structured State Space Models - SSMs) مع نماذج الترنسفورمر، تقدم توازنًا مثيرًا بين الكفاءة والأداء.

تكمن المشكلة الرئيسية في كيفية أداء التكميم (Quantization) لتقليل حجم النموذج وزيادة سرعة الاستدلال. ومع ذلك، يتطلب الأمر إدارة دقيقة نظرًا لتأثيرات التكميم غير المتساوية على المكونات المختلفة للنموذج. في دراستنا، نقدم إطار تحليل حساسية قائم على الاستبدال يُحسن عملية التكميم عبر تحديد المكونات الأكثر عرضة للتدهور الناتج عن التكميم.

نركز على قياسات الأداء خلال عملية الواجهة الأمامية دون الحاجة لحسابات التدرج المعقدة أو إعادة التدريب. هذا يسهل التطبيق في مجالات قد تكون فيها البيانات الداخلية محظورة أو مقيدة بحساسيات تتعلق بالخصوصية. من خلال تحليل رسمي، أثبتنا أن مقياس تباين كُلُّبَك-ليبلر (KL divergence) يمكن أن يسجل حساسية التكميم بشكل أفضل من المقاييس الشائعة مثل متوسط مربع الخطأ (Mean Squared Error - MSE) ونسبة الإشارة إلى ضجيج التكميم (Signal-to-Quantization-Noise Ratio - SQNR).

أظهرت دراسات التجارب أن النتائج التي استندت إلى تصنيفات KL تتطابق مع انخفاض الأداء الملحوظ وتتفوق على المقاييس البديلة. كما تم التحقق من إجراءاتنا باستخدام بيانات واقعية على أجهزة Intel Lunar Lake، مما أظهر أن المقاييس المستندة إلى KL تحقق أداءً قريبا من FP16 مقارنةً بـ Uniform INT4 في بيئات التنفيذ على كل من CPU وGPU، مما يعزز من كفاءة استخدام النماذج الهجينة على الأجهزة ذات الموارد المحدودة. تجدون التعليمات البرمجية متاحة على [GitHub](https://github.com/jasonkongie/kl-ssm-quant).