في عالم الذكاء الاصطناعي وتحديداً في مجال نماذج Transformer، تشكل عملية توسيع القدرات واحدة من التحديات الكبرى. البحث الجديد حول نموذج "نيوكسفورمر" (Nexusformer) يأتي ليقدم حلاً مبتكرًا لهذه المسألة. فبينما تتطلب نماذج Transformer التقليدية بناء نماذج أكبر من الصفر، يكشف هذا النموذج النقاب عن آلية جديدة تستند إلى الاستخدام غير الخطي للنقاط الأساسية في الآلية العينية.

بفضل استبدال العمليات الخطية بمصفوفة Nexus-Rank، فإن نيوكسفورمر يوفر ثلاث مراحل من التحويل غير الخطي عبر تفاعلات مزدوجة في فضاءات أبعاد أعلى. هذه الطريقة تغلب على القيود المفروضة من العمليات الخطية، مما يسمح بنمو منظم يفصل بين الأبعاد. وبفضل استخدام كتل تم تهيئتها مسبقًا مع قيم صفرية، يتمكن النموذج من الحفاظ على المعرفة المكتسبة بعد التدريب.

تُظهر التجارب على نماذج اللغة ومعايير الاستدلال أن نيوكسفورمر يحقق نتائج مذهلة تعادل ما حققه نموذج Tokenformer، مع استهلاك أقل بنسبة تصل إلى 41.5% من موارد التدريب أثناء مراحل التوسع. بالإضافة إلى ذلك، يكشف تحليل ديناميكيات النمو للنموذج عن مسار تقارب مستقر يرتبط بتهيئة الأبعاد الجديدة، مما يسمح بتطبيق قانون توسع هندسي يحدد بدقة الأداء عبر مختلف مقاييس التوسع.

نتطلع من خلال هذه النتائج إلى تغيير قواعد اللعبة في كيفية بناء وتوسيع نماذج الذكاء الاصطناعي، مما يمهد الطريق لتطويرات جديدة ومثيرة في هذا المجال.