ثورة في الذكاء الاصطناعي: تحسين نماذج اللغات باستخدام طريقة تكييف رتبة التوسع البوليني!

في عالم الذكاء الاصطناعي، يعد تكييف الرتبة المنخفضة (Low-Rank Adaptation - LoRA) استراتيجية شائعة تُستخدم لتعديل نماذج اللغات الكبيرة (Large Language Models - LLMs) بفعالية. ومع ذلك، فإن التركيبة الخطية الصارمة لهذا النهج تقيد القدرة التعبيرية بشكل أساسي. حيث إن الطريقة الثنائية لتحديث الأوزان تلتقط فقط الاعتماديات من الدرجة الأولى بين العوامل ذات الرتبة المنخفضة، مما يعيق نموذج التفاعلات غير الخطية وبناء العلاقات الأعلى مرتبة بين المتغيرات.

ومع ذلك، يخرج البحث الجديد بأسلوب مبتكر يُعرف بتكييف رتبة التوسع البوليني (Polynomial Expansion Rank Adaptation - PERA)، والذي يقدم طريقة جديدة تماماً من خلال إدخال التوسع البوليني المنظم مباشرة إلى مساحة العوامل ذات الرتبة المنخفضة. من خلال توسيع كل عامل ذو رتبة منخفضة لتوليد مصطلحات تفاعلية مرتفعة الترتيب قبل التركيب، يقوم PERA بتحويل فضاء التكيف إلى مانفولد بوليني يستطيع نمذجة الارتباطات غير الخطية الثرية دون زيادة الرتبة أو تكلفة الاستدلال.

يقدم البحث تحليلًا نظريًا بيّن أن هذا الأسلوب يمنح قدرة تعبيرية محسنة واستخدامًا أكثر فعالية للميزات مقارنة بالأساليب التقليدية. وبشكل تجريبي، أثبت PERA تفوقه المستمر على الطرق الرائدة عبر مجموعة متنوعة من المقاييس. ما يثير الإعجاب بشكل خاص هو أن دمج المكونات غير الخطية العالية الترتيب - وخاصة المصطلحات التربيعية - أمر حاسم لتعزيز القدرة التعبيرية وضمان أداء قوي وموثوق تحت إعدادات رتبة متنوعة.

للاطلاع على الكود الخاص بهذه الطريقة الجديدة، يمكنكم زيارة [رابط GitHub](https://github.com/zhangwenhao6/PERA) واستكشاف المزيد من التفاصيل.