ثورة في معالجة السياقات الطويلة: تعرف على محول الذاكرة التعاونية CoMeT

في عالم الذكاء الاصطناعي، تمثل معالجة السياقات الطويلة تحديًا كبيرًا، حيث تكمن الصعوبة في التعقيد الرباعي الذي يعاني منه المحولات التقليدية (Transformers) والنمو المستمر لذاكرة العضو الرئيس (key-value cache). لكن فريق من الباحثين قد تمكن من تجاوز هذه العقبة بفضل تقديمهم لنموذج جديد يحمل اسم محول الذاكرة التعاونية (CoMeT).

تتميز البنية المعمارية لـ CoMeT بإمكانية التعامل مع تسلسلات طويلة بشكل لا محدود مع الحفاظ على استخدام ذاكرة ثابتة وتعقيد زمني خطي. مما يجعلها تتناسب مع النماذج اللغوية الضخمة (Large Language Models) بشكل مريح، يمكن دمجها بسهولة في النماذج المدربة مسبقًا مع تعديلات بسيطة للغاية.

تعتمد استراتيجية CoMeT على نظام ذاكرة مزدوج، حيث تُستخدم ذاكرة مؤقتة لتخزين الأحداث الحديثة من خلال قائمة انتظار FIFO، وأخرى عالمية بمبدأ تحديث مضبوط لإدارة الاعتماديات على المدى الطويل. تعمل هذه الذاكرتان معًا كشيفرة ديناميكية لتوليد الموجهات لقطع البيانات القادمة.

لتمكين عملية التخصيص الفعالة على سياقات طويلة بشكل استثنائي، تم تقديم استراتيجية جديدة تتمثل في تحقيق التوازى الانسيابي على مستوى الطبقات. وقد أثبتت فعالية هذه الطريقة بشكل ملحوظ، حيث أظهر نموذج مجهز بـ CoMeT قدرة عالية على استرجاع مفتاح مرور من أي موضع داخل تسلسل يتكون من مليون توكن.

عند اختبار أداء النموذج باستخدام معيار SCROLLS، تفوق CoMeT على بدائل فعالة أخرى ليحقق نتائج توازي تلك المستندة على الانتباه الكامل في مهام تلخيص المحتوى. تأكيد فعاليته العملي تم تحقيقه أيضًا في مهام استفسار حول سلوكيات المستخدمين وعمالة الوكلاء في العالم الحقيقي.

للتفاصيل البرمجية، يمكنكم زيارة الرابط هنا: [شيفرة CoMeT على GitHub](https://github.com/LivingFutureLab/Comet).