ثورة جديدة في نماذج تسلسل البيانات: انتباه هجين محلي لتحقيق الكفاءة

تعتبر نماذج المقTransformer (Transformers) الخيار المفضل في مجال تسلسل البيانات، إلا أن تعقيدها الرباعي كثيرًا ما يمثل عقبة كبيرة، بينما توفر نماذج الانتباه الخطي (Linear Attention) كفاءة أعلى، لكنها تفتقر إلى القدرة على استرجاع البيانات بدقة في السياقات الطويلة. هنا، نتحدث عن تقنية جديدة تُعرف باسم الانتباه الهجين المحلي (Native Hybrid Attention - NHA)، والتي تمثل ثورة حقيقية في هذا المجال.

تجمع هذه التقنية بين بنية الانتباة الخطي والانتباة الكامل، حيث تمكن من دمج الهجينة الداخلية والخارجية ضمن تصميم طبقة موحد. تعتمد NHA على تحديث مفاتيح وقيم السياق الطويل باستخدام شبكة عصبية تكرارية (RNN) خطية، مع تعزيزها بعناصر قصيرة المدى من نافذة منزلقه. بعد ذلك، يتم تطبيق عملية انتباه واحدة على جميع المفاتيح والقيم، مما يُمكن من وزنها بشكل يتناسب مع السياق الخاص بالرأس وبالرمز دون الحاجة لبراميتر دمج إضافية.

تتمتع NHA بقدرة على التحكم في سلوك الطبقات من خلال معلمة هيبر واحدة وهي حجم نافذة الانزلاق، مما يسمح بتعديل سلس بين طريقة الانتبه الخطي الكاملة والانتباه الكامل مع الحفاظ على هيكل جميع الطبقات. أظهرت النتائج التجريبية أن NHA تتفوق على نماذج Transformers والبدائل الهجينة الأخرى في المهام التي تتطلب استرجاعًا كثيفًا وفهمًا للمعلومات البديهية.

بالإضافة إلى ذلك، يمكن دمج نماذج اللغات الضخمة (Large Language Models) مع NHA لتحقيق دقة تنافسية مع مكاسب كبيرة في الكفاءة. لمزيد من التفاصيل، يمكنك الاطلاع على الشيفرة المتاحة على [GitHub](https://github.com/JusenD/NHA).