في عالم الذكاء الاصطناعي وخصوصًا في مجال التعليم اللغوي، يعتبر نشر نماذج اللغة الكبيرة (Large Language Models) تحديًا رئيسيًا، وذلك بسبب متطلبات الحوسبة والذاكرة العالية. لكن، ماذا لو كان هناك حل مبتكر؟ إليكم LBLLM.

تقدم LBLLM إطارًا فعالاً لتخفيض حجم هذه النماذج عبر تقنيات ثنائية خفيفة، وذلك من خلال استراتيجية جديدة مكونة من ثلاث مراحل لتحقيق قياس W(1+1)A4.

هذه المراحل تتضمن:
1. **تهيئة نموذج مُقيس عالي الجودة** من خلال تقنية PTQ (Post-Training Quantization).
2. **تكييف الأوزان الثنائية** مع خرائط جماعية ومعايير قياس عبر تمييز الطبقات (layer-wise distillation) مع الحفاظ على تنشيط كامل الدقة.
3. **تدريب عوامل قياس تنشيط قابلة للتعلم** لضبط تنشيط بمقدار 4 بتات ديناميكيًا.

هذا التصميم المنفصل يقلل من التداخل بين قياس الأوزان وقياس التنشيط، مما يسهل الاستقرار أثناء التدريب ويعزز دقة الاستدلال. LBLLM، الذي تم تدريبه باستخدام 0.016B توكن فقط وعلى وحدة معالجة رسومات واحدة (GPU)، يتفوق على الأساليب الحالية في قياس W2A4 ضمن مجموعة متنوعة من المهام مثل النمذجة اللغوية، والإجابة على الأسئلة البديهية، وفهم اللغة.

تثبت نتائج LBLLM أن القياس منخفض الدقة بشكل متطرف يمكن أن يكون عمليًا وفعالًا للغاية دون الحاجة إلى إضافة قنوات عالية الدقة أو مصفوفات دورانية، وهي عناصر شائعة في الأعمال الحديثة القائمة على PTQ. هذا يُمثل مسارًا واعدًا نحو نشر نماذج اللغة الكبيرة في بيئات ذات موارد محدودة، مما يفتح آفاق جديدة لعالم الذكاء الاصطناعي.