ابتكارات مذهلة في الذكاء الاصطناعي: طريقة IMSE لتكييف الأداء عند الاختبار

في عالم الذكاء الاصطناعي، يعد تكييف الأداء عند الاختبار (Test-Time Adaptation - TTA) من الجوانب الحيوية التي تهدف إلى تجنب فقدان الدقة عندما تختلف بيانات الاختبار عن توزيع البيانات المستخدمة في التدريب. ورغم الاستكشافات العديدة في هذا المجال، إلا أن الاستفادة القصوى من تمثيلات النماذج الكبيرة المدربة مسبقاً مع الحفاظ على تحديثات المعلمات في الحد الأدنى لا يزال يعد موضوعاً يحتاج إلى المزيد من البحث.

داخل هذا الإطار، تبرز طريقة **Intrinsic Mixture of Spectral Experts (IMSE)** كابتكار يلتقط القوة الكامنة في نماذج **Vision Transformers**. هذه الطريقة تتضمن تحليل كل طبقة خطية من خلال استخدام تقنية تحليل القيمة الفردية (Singular Value Decomposition - SVD)، حيث تتم عملية التكيف بواسطة تحديث القيم الفردية فقط، مع الحفاظ على المتجهات الفردية ثابتة.

من المثير للاهتمام أن الباحثين قد لاحظوا محدودية رئيسية تتعلق بتقليل الإنتروبيا (Entropy Minimization) في TTA، حيث يؤدي ذلك غالباً إلى انهيار الميزات، مما يجعل النموذج يعتمد بشكل كبير على الميزات الخاصة بالنطاق بدلاً من الاعتماد على الميزات التمييزية بين الفئات.

لمعالجة هذه المشكلة، قدم فريق البحث خسارة تعظيم التنوع (Diversity Maximization Loss) القائمة على توافق المدخلات مع الخبراء، حيث تشجع هذه الخسارة استخداماً متنوعاً للخبراء الطيفيين أثناء عملية التكيف. في سياق التكيف التام المستمر (Continual Test-Time Adaptation - CTTA)، يعتبر الاحتفاظ بالمعرفة المدربة مسبقاً أمراً حاسماً، ولكن الاحتفاظ وإعادة استخدام المعرفة من المجالات السابقة يصبح ضرورياً أيضاً.

تم تقديم تقنية جديدة تعرف باسم استرجاع الرموز الطيفية المدركة للنطاق (Domain-Aware Spectral Code Retrieval)، التي تقدّر توزيعات المدخلات للكشف عن انزلاقات النطاق، وتسترجع القيم الفردية المعدلة من أجل تكيف سريع. بفضل هذه الطريقة، استطاعت استراتيجية IMSE تحقيق أداء رائد في مجموعة من معايير توزيع البيانات المخصصة لـ TTA. وفي سياقات CTTA وGradual CTTA، تحسنت الدقة بمعدل 3.4 و2.4 نقطة مئوية على التوالي، بينما تتطلب 385 مرة أقل من المعلمات القابلة للتدريب مقارنة بالطرق التقليدية.

يمكنكم الاطلاع على الشيفرة المصدرية لأسلوب IMSE المتاحة عبر [GitHub](https://github.com/baek85/IMSE).

ما رأيكم في هذه الابتكارات التي تعزز من أداء الذكاء الاصطناعي؟ شاركونا في التعليقات.