تُعتبر أبحاث لغة الإشارة (Sign Language) من المجالات المثيرة، بفضل التقدم المستمر الذي حققته نماذج اللغة الكبيرة (LLMs). ولكن ماذا عن القدرة الأساسية لهذه النماذج على فهم لغة الإشارة، خصوصًا في السياقات متعددة الوسائط؟
ما هو CNSL-bench؟
نقدم لكم CNSL-bench، وهو أول معيار شامل مصمم لتقييم قدرات فهم لغة الإشارة للغة الصينية، باستخدام نماذج اللغة الكبيرة متعددة الوسائط (MLLMs). يتميز CNSL-bench بعدة جوانب رئيسية:
1. **أساسيات موثوقة:** يتبع المعايير الرسمية من «القاموس الوطني الشامل للغة الإشارة»، مما يقلل من الغموض الناتج عن الاختلافات الإقليمية أو المتغيرات غير القياسية.
2. **تغطية متعددة الوسائط:** يوفر أوصافًا نصية متوافقة، وصورًا توضيحية، ومقاطع فيديو للغة الإشارة.
3. **تنوع نطقي:** يدعم التحليل الدقيق عبر أشكال الإشارة اليدوية الرئيسية، بما في ذلك الكتابة في الهواء، وهجاء الأصابع، والأبجدية اليدوية الصينية.
نتائج صادمة
عبر استخدام CNSL-bench، تم تقييم 21 نموذجًا حديثًا من MLLMs، وكشفت النتائج أن هذه النماذج رغم تقدمها، لا تزال أقل بكثير من الأداء البشري. لاحظ الباحثون تباينات منهجية ملحوظة عبر وسائط الإدخال وأشكال الإشارة اليدوية.
كما أظهرت التحليلات التشخيصية أن بعض القيود على الأداء ما زالت موجودة، حتى مع تحسينات الاستدلال، وأن القوة في اتباع التعليمات تختلف بشكل ملحوظ بين النماذج.
هل أنت متحمس لرؤية كيف ستساعد هذه التطورات في تحسين أدوات تعلم وفهم لغة الإشارة في المستقبل؟