في خضم التقدم التكنولوجي السريع، يسارع الباحثون لاستكشاف سبل جديدة لتحسين نماذج الذكاء الاصطناعي، خاصة عند التعامل مع تمثيلات الأرقام. في ورقة بحثية جديدة، قدم الباحثون دراسة مثيرة حول "التطور المتقارب" (Convergent Evolution) في نماذج اللغة (Language Models) وأنماط تعلمها المختلفة.

تظهر النتائج أن نماذج اللغة التي تدربت على نصوص طبيعية تمكنت من تمثيل الأرقام باستخدام ميزات دورية، حيث كانت الفترات الأكثر هيمنة عند $T=2، 5، 10$. والمثير، أن هذه الدراسة تكشف عن وجود هيكلية ثنائية المستويات لهذه الميزات: بينما تتعلم نماذج مثل Transformers وLinear RNNs وLSTMs وغيرها ميزات تعكس هذه الفترات في النطاق المستشاري (Fourier Domain)، فإن القليل منها فقط يكتسب ميزات قابلة للفصل هندسيًا التي يمكن استخدامها لتصنيف الأرقام بطريقة خطية.

لشرح هذه الظاهرة، أثبت الباحثون أن ضآلة النطاق المستشاري ضرورية لكنها ليست كافية لتحقيق الفصل الهندسي حسب $T$. وعبر دراسة تجريبية، تم التحقيق في الظروف التي تؤدي فيها تدريبات النماذج إلى اكتساب ميزات قابلة للفصل هندسيًا، حيث تبين أن البيانات، وبناء النموذج، والمحسّن، ووسيلة التحويل تلعب جميعها أدواراً رئيسية.

أحد الاكتشافات الرائعة هو أن النماذج يمكن أن تتعلم هذه الميزات من إشارات تداخل متكاملة في البيانات اللغوية العامة، بما في ذلك تداخل النص مع الأرقام وتفاعلات الأرقام المتعددة، أو من مسائل الجمع ذات الرموز المتعددة.

يلقي هذا البحث الضوء على ظاهرة "التطور المتقارب" حيث تتعلم مجموعة متنوعة من النماذج ميزات مشابهة من إشارات تدريب مختلفة. ما رأيكم في هذا البحث المثير؟ شاركونا آراءكم في التعليقات!