OLLM: ثورة جديدة في نماذج اللغة الكبيرة تتيح خيارات متقدمة!
تعرف على OLLM، والذي يقدم طريقة مبتكرة لاستبدال التنبؤ القياسي بكلمة واحدة بمجموعة من الخيارات المتعلمة. هذا الابتكار يعزز التحكم ويقلل من الأخطاء الشائعة في نماذج التعلم.
في عالم الذكاء الاصطناعي، نشهد تطورات مذهلة تتعلق بكيفية عمل نماذج اللغة الكبيرة (Large Language Models). أعلن باحثون عن ابتكار جديد يُدعى OLLM (Options LLM)، والذي يمثل تحسناً ملحوظاً في كيفية تعامل هذه النماذج مع التنبؤات.
تعمل تقنية OLLM على استبدال التنبؤ التقليدي بالكلمة التالية بمجموعة من الخيارات المتعلمة، مدعومة بمؤشرات متغيرة ضمن نطاق معين. بدلاً من الاعتماد على تقنيات مثل درجة الحرارة أو أساليب العينات لخلق تنوع في النتائج، يوفر OLLM تنوعاً واضحاً من خلال مساحة Latent صغيرة.
الهياكل المعمارية لـ OLLM تُعتبر خفيفة الوزن، حيث تتطلب اثنين من الطبقات الإضافية - مُشفر ومُفكك - والتي تُضاف قبل رأس الإخراج. هذا يسمح لأي نموذج لغة كبير مدرب مسبقًا أن يتم تحويله باستخدام عدد قليل جداً من المعلمات الإضافية.
تطبيق OLLM على نموذج بــ 1.7 مليار معلمة، حيث تم تدريب 1.56% فقط من هذه المعلمات، أظهر نتائج رائعة. أما النماذج التقليدية التي تم تعديلها باستخدام LoRA، فقد حققت دقة تصل إلى 51% في الإجابات النهائية، بينما أسفرت الخيارات المتاحة عبر OLLM عن تحقيق دقة تصل إلى حوالي 70% تحت اختيار Latent الأمثل.
إن العمل ضمن مساحة خيارات منخفضة الأبعاد يُسهل تحسين المكافآت بشكل أكثر كفاءة، مما يقلل من الأخطاء الشائعة مثل التبديل بين اللغات أو التفكير المنحرف.
يظهر هذا البحث أن نمذجة الخيارات تعزز من القدرة على التحكم والكفاءة في معالجة المشكلات الرياضية، ما يُبشر بمسار واعد لتعلم السياسات في تعزيز قدرة نماذج اللغة.
تعمل تقنية OLLM على استبدال التنبؤ التقليدي بالكلمة التالية بمجموعة من الخيارات المتعلمة، مدعومة بمؤشرات متغيرة ضمن نطاق معين. بدلاً من الاعتماد على تقنيات مثل درجة الحرارة أو أساليب العينات لخلق تنوع في النتائج، يوفر OLLM تنوعاً واضحاً من خلال مساحة Latent صغيرة.
الهياكل المعمارية لـ OLLM تُعتبر خفيفة الوزن، حيث تتطلب اثنين من الطبقات الإضافية - مُشفر ومُفكك - والتي تُضاف قبل رأس الإخراج. هذا يسمح لأي نموذج لغة كبير مدرب مسبقًا أن يتم تحويله باستخدام عدد قليل جداً من المعلمات الإضافية.
تطبيق OLLM على نموذج بــ 1.7 مليار معلمة، حيث تم تدريب 1.56% فقط من هذه المعلمات، أظهر نتائج رائعة. أما النماذج التقليدية التي تم تعديلها باستخدام LoRA، فقد حققت دقة تصل إلى 51% في الإجابات النهائية، بينما أسفرت الخيارات المتاحة عبر OLLM عن تحقيق دقة تصل إلى حوالي 70% تحت اختيار Latent الأمثل.
إن العمل ضمن مساحة خيارات منخفضة الأبعاد يُسهل تحسين المكافآت بشكل أكثر كفاءة، مما يقلل من الأخطاء الشائعة مثل التبديل بين اللغات أو التفكير المنحرف.
يظهر هذا البحث أن نمذجة الخيارات تعزز من القدرة على التحكم والكفاءة في معالجة المشكلات الرياضية، ما يُبشر بمسار واعد لتعلم السياسات في تعزيز قدرة نماذج اللغة.