في السنوات الأخيرة، اتجه الباحثون نحو تحسين نماذج تضمين النص (Text Embedding Models) إلى مجالات متخصصة عن طريق تقنية التدريب المسبق المتباين (Contrastive Pre-finetuning) باستخدام مجموعة من المهام المتنوعة والعشوائية. ومع ذلك، فقد أظهر هذا النهج أن له عيوبًا واضحة، حيث يؤدي إلى انزلاقات تمثيلية غير منضبطة تقلل من فعالية النموذج، وذلك نتيجة التحيز الذي يمكن أن ينشأ من تنوع المهام.

لكي نعالج هذه الإشكالية، نقدم تقنية جديدة تُسمى REZE، وهي عبارة عن إطار لتنظيم التمثيل يهدف إلى السيطرة بشكل صريح على الانزلاق التمثيلي خلال عملية تحسين نموذج تضمين النص. تعتمد تقنية REZE على علاقات الأزواج الإيجابية الساكنة، حيث تقوم بتفكيك هذه العلاقات ضمن فضاء القيم الذاتية (Eigenspace). من خلال قياس تباعد المهام على كل مكون ذاتي، يمكن تحديد الاتجاهات المتغيرة للمهام والتغلب على الضوضاء الناتجة عن هذه الاتجاهات دون أي تأثير سلبي خلال زمن الاستدلال.

أظهرت التجارب التي أُجريت على عدة نماذج تضمين مختلفة ومعايير متخصصة أن REZE تفوقت على طرق التدريب المسبق التقليدية وعلى التقنيات التي تهدف إلى تحقيق التناظر فقط. وأكثر من ذلك، حافظت على استقرارها في الإعدادات التي كانت فيها التقنيات الحالية تتعرض للفشل، مما يعزز من أهمية التحكم في الانزلاق التمثيلي كعنصر أساسي للفعالية في تحسين نماذج تضمين النص تحت إشراف متنوع.

إجمالًا، تمثل REZE خطوة مهمة إلى الأمام في معالجة التحديات المرتبطة بتحسين نماذج الذكاء الاصطناعي في مجالات متخصصة وتحقيق نتائج أفضل من خلال تنظيم فعال للتمثيل.