مع تقدم **نماذج اللغة الكبيرة متعددة الأنماط** (MLLMs)، بدأت **الوكالات ذات الواجهة الرسومية** (GUI Agents) في التحول من التفاعلات الثابتة إلى التنقل المعقد. يُعتبر **تعلم التعزيز** (Reinforcement Learning) أحد المنهجيات الواعدة لتدريب هذه الوكالات على مهام الواجهة الديناميكية. ومع ذلك، يواجه هذا الأسلوب تحديًا رئيسيًا بسبب اعتماده على البيانات الثابتة في التعلم!
التحديات التقليدية
عادةً ما يعتمد التعلم التقليدي (Offline RL) على بيانات خطوة واحدة ثابتة، مما يغفل عن الجوانب الأساسية مثل **إتمام المهام** و**جودة التنفيذ**. من جهة أخرى، يُعد التعلم الأونلاين (Online RL) مُفيدًا في التقاط الديناميكيات على المدى الطويل، لكنه يتعرض لتكاليف تفاعلية عالية وعدم استقرار بيئي محتمل.
SOLAR-RL: الحل المبتكر
لتجاوز هذه الفجوة، تم اقتراح **SOLAR-RL**، منهجية جديدة في التعلم الشبه الأونلاين لمهمات طويلة الأمد. يعتمد هذا النظام على دمج رؤى المسارات العالمية مباشرةً في عملية التعلم الثابت. بدلاً من الاعتماد فقط على التفاعلات الأونلاين المكلفة، يتم إعادة بناء مجموعة متنوعة من مرشحات الإنطلاق من البيانات الثابتة.
تمكن فريق البحث من تحديد أول نقطة فشل باستخدام إشارات صلاحية خطوة بخطوة، وإعادة توزيع المكافآت بشكل تدريجي لتتوافق مع جودة التنفيذ على مستوى المسار، مما يُحاكي التغذية الراجعة الأونلاين دون تكاليف تفاعلية.
نتائج مذهلة
تظهر التجارب الواسعة أن مشروع SOLAR-RL يحقق تحسينات ملحوظة في معدلات إتمام المهام الطويلة والموثوقية بشكل أكبر مقارنةً بمعايير قوية. هذا الابتكار يقدم حلاً فعالًا لاستخدام نماذج الذكاء الاصطناعي في التنقل الذاتي داخل واجهات المستخدم.
هل تعتقد أن التعلم شبه الأونلاين سيكون مستقبل الذكاء الاصطناعي في تفاعلات واجهة المستخدم؟ شاركنا برأيك!