في الآونة الأخيرة، حققت نماذج اللغة الكبيرة (Large Language Models) تقدمًا كبيرًا في تحسين أنظمة التوصيات (Recommendation Systems)، حيث بدأ الباحثون في استكشاف كيفية دمج هذه النماذج مع الأغراض الصناعية. ورغم أن معظم الأساليب تعتمد على نشر نماذج اللغة بشكل غير متصل لتوليد وتخزين تمثيلات محسّنة مسبقًا، إلا أن التمثيلات عالية الأبعاد من هذه النماذج تفرض تكاليف تخزينية وحسابية ضخمة.

لذا، أصبح من الضروري ضغط تمثيلات نماذج اللغة بشكل فعّال. لكن، أظهرت الأبحاث حدوث ظاهرة مثيرة للدهشة خلال عملية الضغط، وهي ما تُعرف بميزة تمثيل منتصف الطبقة (Mid-layer Representation Advantage - MRA)، حيث تتفوق التمثيلات من الطبقات الوسطى على تلك المأخوذة من الطبقات النهائية في مهام التوصيات. وتُظهر هذه الطبقات النهائية ضعفًا يجعل الأساليب التقليدية غير فعّالة، إذ تركز عادةً على ضغط الطبقات النهائية.

شرحنا هذه الظاهرة بناءً على نظرية التجزئة الوظيفية (modularity theory)، حيث تتطور نماذج اللغة الكبرى بشكل تلقائي تجاه التجزئة الوظيفية الداخلية، مما يفرض على الطبقة النهائية تخصصها في مهمة تدريب بديلة.

لذا، نقدم تقنية الضغط المعتمدة على التجزئة الوظيفية (Modular Representation Compression - MARC) التي تمكن من التحكم بشكل صارم في تجزئة نماذج اللغة. أولاً، يقوم تعديل الوحدات بدفع تمثيل التعبئة والتكيف مع المهام، مما يتيح لنموذج اللغة العمل كوحدة تعلم تمثيل بحتة. بعد ذلك، لتأكيد ارتباط كل وحدة بمهمتها الخاصة، يُستخدم فصل المهام الوحدوي (Modular Task Decoupling) الذي يعتمد على القيود المعلوماتية وهياكل الشبكات المختلفة لفصل المهام.

تؤكد التجارب الشاملة أن تقنية MARC تعالج ظاهرة MRA وتنتج تمثيلات فعالة. وتجدر الإشارة إلى أن MARC حققت زيادة بنسبة 2.82% في قيمة التكلفة الناتجة (effective Cost Per Mille - eCPM) خلال اختبار A/B عبر الإنترنت في سيناريو الإعلانات التجارية واسع النطاق.

إذا كنت مهتمًا بكيفية تحسين أنظمة التوصيات بطرق غير تقليدية وباستخدام تقنيات حديثة، فقد حان الوقت للتفكير في كيفية الاستفادة من هذه التطورات في مجالك الخاص.