ثورة في الذكاء الاصطناعي: كيف يتعلم محولون (Transformers) التخطيط عبر توقعات متعددة الرموز!
في دراسة جديدة، يظهر أن توقعات متعددة الرموز (Multi-Token Prediction) تتفوق على الأساليب التقليدية في التفكير المنطقي. تعزز هذه التقنية أداء نماذج التعلم وتفتح آفاقاً جديدة في فهم الذكاء الاصطناعي.
تشهد مجالات الذكاء الاصطناعي ثورة حقيقية مع تطور تقنيات نماذج اللغة، وبالتحديد مع اعتماد توقعات متعددة الرموز (MTP) كوسيلة لتعزيز عملية التخطيط. في الوقت الذي كانت فيه توقعات الرموز التالي (NTP) هي الطريقة القياسية لتدريب نماذج اللغة، تواجه هذه الطريقة تحديات كبيرة في التقاط البنية الشاملة أثناء المهام الفكرية.
أظهرت الأبحاث الأخيرة أن توقعات متعددة الرموز تعد بديلاً واعدًا، ولكن لا تزال الآليات الكامنة وراءها غير مفهومة تمامًا.
تقدم الدراسة الجديدة رؤى رائعة حول كيفية تسهيل MTP لعملية التفكير، مع تركيز خاص على التخطيط. تظهر النتائج التجريبية بوضوح أن MTP تتفوق باستمرار على NTP في مهام مثل مسار البحث في الرسوم البيانية ومشكلات حسابية واقعية مثل Countdown ومشكلات التوازي البولياني.
من الناحية النظرية، تم تحليل نموذج محول مبسط مكون من طبقتين في مهمة الرسم البياني النجمي. أثبت الباحثون أن MTP تتسبب في عملية تفكير عكسية من مرحلتين، حيث يركز النموذج أولاً على العقدة النهائية ثم يعيد بناء المسار من خلال تتبع العقد الوسيطة عكسيًا. ترجع هذه السلوكيات إلى خاصية فصل التدرجات في MTP، التي توفر إشارة تدريب أكثر وضوحًا مقارنةً بـ NTP.
تسلط النتائج الضوء على كيفية biased الأهداف متعددة الرموز نحو تحسين دارات التفكير القوية والقابلة للتفسير. في ضوء هذه النتائج، يبدو أن مجموعة جديدة من الاستراتيجيات تحضر لتغيير كيفية فهمنا ونمذجة الذكاء الاصطناعي.
أظهرت الأبحاث الأخيرة أن توقعات متعددة الرموز تعد بديلاً واعدًا، ولكن لا تزال الآليات الكامنة وراءها غير مفهومة تمامًا.
تقدم الدراسة الجديدة رؤى رائعة حول كيفية تسهيل MTP لعملية التفكير، مع تركيز خاص على التخطيط. تظهر النتائج التجريبية بوضوح أن MTP تتفوق باستمرار على NTP في مهام مثل مسار البحث في الرسوم البيانية ومشكلات حسابية واقعية مثل Countdown ومشكلات التوازي البولياني.
من الناحية النظرية، تم تحليل نموذج محول مبسط مكون من طبقتين في مهمة الرسم البياني النجمي. أثبت الباحثون أن MTP تتسبب في عملية تفكير عكسية من مرحلتين، حيث يركز النموذج أولاً على العقدة النهائية ثم يعيد بناء المسار من خلال تتبع العقد الوسيطة عكسيًا. ترجع هذه السلوكيات إلى خاصية فصل التدرجات في MTP، التي توفر إشارة تدريب أكثر وضوحًا مقارنةً بـ NTP.
تسلط النتائج الضوء على كيفية biased الأهداف متعددة الرموز نحو تحسين دارات التفكير القوية والقابلة للتفسير. في ضوء هذه النتائج، يبدو أن مجموعة جديدة من الاستراتيجيات تحضر لتغيير كيفية فهمنا ونمذجة الذكاء الاصطناعي.
