ثورة جديدة في تصنيف النصوص: دمج المعرفة من نماذج اللغات الضخمة مع آلات تسيتلين!

في عالم الذكاء الاصطناعي، تقدم الأبحاث دائمًا أفكارًا جديدة تثري مجال التعليم الآلي. أحدث هذه الاكتشافات هو دمج نماذج اللغات الضخمة (Pretrained Language Models) مع نظيرتها النمطية، وهي آلات تسيتلين (Tsetlin Machines). بينما تتيح نماذج مثل BERT تمثيلات دلالية قوية، إلا أنها تواجه مشكلتين رئيسيتين: التكلفة العالية والغطاء الغير شفاف.

من جهة أخرى، توفر نماذج تسيتلين الشفافية اللازمة لكنها تفتقر إلى القدرة على تعميم الدلالات بشكل كافٍ. هنا تأتي الفكرة الرائدة بمقترح إطار انطلاق دلالي (Semantic Bootstrapping Framework) يقوم بنقل المعرفة من نماذج اللغات الضخمة إلى شكل رمزي.

يعتمد هذا الإطار المبتكر على ثلاث مراحل رئيسية: مرحلة التعبئة الأولية (Seed)، ومرحلة النواة (Core)، وأخيراً المرحلة المعززة (Enriched)، حيث تعمل نماذج اللغات الضخمة على توليد نوايا فرعية (Sub-intents) يكون بمقدورها توجيه إنشاء بيانات صناعية تعزز التنوع الدلالي.

تتعلم آلة تسيتلين الغير سالبة (Non-Negated Tsetlin Machine-NTM) من هذه الأمثلة لتعزيز قدرتها على استخراج إشارات دلالية عالية الثقة. عبر إدخال هذه الإشارات إلى البيانات الحقيقية، يستطيع النموذج التنسيق بين منطق العبارات والدلالات المستنتجة من نماذج اللغات الضخمة.

ما يميز هذه الطريقة هو عدم حاجتها لأي تضمينات أو استدعاءات زمنية لنموذج اللغة الضخم، مما يجعل النماذج الرمزية مزودة بأسس دلالية مدربة مسبقًا. أظهرت النتائج على مجموعة من مهام تصنيف النصوص تحسنًا كبيرًا في التفسير والدقة مقارنةً بنماذج تسيتلين التقليدية، حيث تمكنت من تحقيق أداء مماثل لنموذج BERT مع الاحتفاظ بكفاءتها الرمزية.