ثورة نماذج التحويل: معالجة البيانات باستخدام TNP-KR!

تتزايد شعبية العمليات العصبية (Neural Processes) كنموذج يتسم بالابتكار في مجال الذكاء الاصطناعي، حيث يتم استخدامها بشكل متزايد لتوزيع التوقعات الخلفية في العمليات العشوائية. ولكن، لا يزال نموذج Gaussian Processes (GPs) يهيمن على العديد من التطبيقات على الرغم من قيود زيادة التعقيد الحسابي في $O(n^3)$.

في خطوة جريئة نحو تحسين الأداء، تم تقديم نموذج Transformer Neural Process - Kernel Regression (TNP-KR) الذي يعد بتجاوز هذه القيود. يتميز TNP-KR بامتلاكه كتلة تراجع (Kernel Regression Block - KRBlock)، وهي وحدة تحويل بسيطة وفعالة من حيث المعلمات، بتعقيد $O(n_c^2 + n_c n_t)$، حيث تشير $n_c$ إلى عدد نقاط السياق و$n_t$ إلى عدد نقاط الاختبار.

كما يقدم هذا النموذج ميزة جديدة في الانتباه تعتمد على النواة، بالإضافة إلى آليتين حديثتين للانتباه: الانتباه القائم على المسح (Scan Attention - SA) والانتباه العمق القائم على النواة (Deep Kernel Attention - DKA). هذه الآليات تتيح لموديل TNP-KR أن يكون مستقلاً عن الترجمة، مما يمكنه من معالجة 100 ألف نقطة سياق على أكثر من مليون نقطة اختبار في أقل من دقيقة واحدة باستخدام وحدة معالجة رسومية بسعة 24 جيجابايت!

أظهرت اختبارات الأداء، التي شملت التراجع الميتا، والتخصيص البايزي، وإكمال الصور، وعلم الأوبئة، أن نموذج TNP-KR يستخدم DKA يتفوق على نظرائه في Performer في معظم الاختبارات، بينما نموذج TNP-KR مع SA يسجل نتائج رائدة في هذا المجال. هذا الابتكار يحتاج إلى متابعة دقيقة، فما رأيكم في هذه التطورات المثيرة في عالم الذكاء الاصطناعي؟