هل تعلم أن خوارزمية OLS تمتلك علاقة عميقة مع نماذج Transformers؟

لطالما كان جوهر نموذج Transformers الإحصائي محاطًا بالغموض. إلى أي حد يمكن أن يُعتبر نموذجًا تقريبيًا عالميًا، أم أنه النسخة العصبية من الخوارزميات الحاسوبية المعروفة؟ في دراسة جديدة موثوقة، تمكنا من توضيح أن نماذج Transformers تمثل تجسيدًا لخوارزمية الانحدار الأدنى العادي (Ordinary Least Squares - OLS)، مما يجعلها واحدة من الشواهد المهمة لفهم كيفية عمل تلك النماذج.

من خلال استخدام عملية تحليل الطيف لمصفوفة التغاير التجريبية، تمكنا من بناء إعدادات معلمات معينة حيث يصبح تمرير آلية الانتباه (Attention Mechanism) معادلاً رياضيًا لمشروطة OLS المفتوحة. هذه النقطة تدل على أن آلية الانتباه يمكن أن تحل المشكلة في تمريرة واحدة، بدلاً من الحاجة إلى التكرار.

واستكمالًا لهذا الاكتشاف، تم الكشف عن وجود آلية ذاكرة بطيئة وسريعة في داخل نماذج Transformers. وأخيرًا، تم مناقشة تطور النموذج الخطي إلى النماذج التقليدية من Transformers، مما يسهل انتقال وظيفة طاقة هوبفيلد (Hopfield) من ذاكرة خطية إلى سعة ذاكرة أسية. هذا التواصل يتبين أنه يربط بشكل واضح بين بنى الشبكات العميقة الحديثة والاستدلال الإحصائي الكلاسيكي، مما يفتح آفاقًا جديدة لفهم وابتكار نماذج الذكاء الاصطناعي.

ما رأيكم في هذا الاكتشاف الثوري؟ شاركونا آرائكم في التعليقات!