تجاوز حدود تحسين نموذج وحيد: الحفاظ على المرونة في التعلم المدعوم المستمر

في عالم التعلم المدعوم المستمر (Continual Reinforcement Learning)، يواجه الباحثون تحديات جمة تتمثل في تحقيق توازن بين الاحتفاظ بالمعرفة والتكيف مع بيئات جديدة. بينما تعتمد العديد من الأساليب الحالية على مفهوم "الحفاظ على نموذج وحيد" الذي يخصص سياسة معينة كحل رئيسي يمكن إعادة استخدامه عبر المهام، إلا أن هذه الاستراتيجية قد تُظهر حدودها سريعاً، وذلك عندما تفقد هذه السياسة المرونة اللازمة للتكيف بسرعة بعد حدوث أي تداخل.

لتجاوز هذه العقبة، تم استلهام إطار عمل جديد يُعرف باسم extsc{TeLAPA} (Transfer-Enabled Latent-Aligned Policy Archives)، والذي ينظم السياسات المتنوعة سلوكياً في أرشيفات خاصة بكل مهمة. من خلال الحفاظ على مساحة كامنة مشتركة، تظل السياسات المؤرشفة قابلة للمقارنة وقابلة لإعادة الاستخدام حتى في ظروف التغييرات غير المستقرة.

لا تقتصر فوائد هذا الإطار على الاحتفاظ بالحلول المعزولة، بل يدعو إلى إنشاء "أحياء ملائمة من المهارات"، حيث تدعم السياسات ذات الصلة السلوكية التعلم اللاحق. في بيئة MiniGrid CL، أثبتت extsc{TeLAPA} فعاليتها من خلال النجاح في تعلم مهام أكثر، واستعادة الكفاءة بسرعة أكبر عند مراجعة المهام بعد تداخل الذاكرة، مع الحفاظ على أداء أعلى عبر سلسلة من المهام.

تُظهر التحليلات أن السياسات المثلى في المصدر غالباً ليست المثلى في النقل، حتى ضمن الأحياء القريبة ذات الكفاءة، مما يعني أن إعادة الاستخدام الفعال تعتمد على الاحتفاظ بمجموعة من البدائل القريبة بدلاً من دمجها في تمثيل وحيد. هذه النتائج تعيد تشكيل مفهوم التعلم المدعوم المستمر نحو الحفاظ على أحياء من السياسات القابلة لإعادة الاستخدام والكفؤة، مما يمهد الطريق تجاه وكلاء يمتلكون مرونة أكبر على المدى الطويل.