تحطيم الحواجز: معايير جديدة لاختبار الذكاء الاصطناعي في الثقافة العربية اللهجاتية

في عالم الذكاء الاصطناعي (Artificial Intelligence)، تتزايد أهمية استخدام نماذج اللغة الكبيرة (Large Language Models) للإجابة على الأسئلة اليومية، إلا أن أداء هذه النماذج على المحتوى المرتبط بالثقافة واللهجات لا يزال متفاوتًا عبر اللغات. في هذا السياق، اقترح الباحثون طريقة شاملة تتضمن عدة خطوات.

تتضمن هذه الطريقة (i) ترجمة أسئلة الاختيار من متعدد باللغة العربية الفصحى (MSA) إلى اللغة الإنجليزية وبعض اللهجات العربية، (ii) تحويل هذه الأسئلة إلى أسئلة مفتوحة، (iii) إجراء اختبارات تعتمد على نماذج ذكاء اصطناعي منها نماذج غير مخصصة وأخرى بعد التخصيص في سياقات الأسئلة متعددة الخيارات والأسئلة المفتوحة، و(iv) توليد تفسيرات قائمة على سلسلة من الأفكار (Chain-of-Thought) لتحسين عملية التفكير التحليلي للنماذج.

تتميز الدراسة بأنها توسع مجموعة بيانات قائمة، حيث يتم محاذاة أسئلة وأجوبة بين عدة لهجات، مما يجعلها الأولى من نوعها حتى الآن. شملت التجارب مجموعة واسعة من النماذج، وكشفت النتائج أن (i) النماذج تظهر تفوقًا أقل في اللهجات العربية، مما يبرز الفجوات المستمرة في المعرفة الثقافية واللهجات الخاصة، (ii) النماذج التي تركز على اللغة العربية تؤدي بشكل جيد في أسئلة الاختيار من متعدد لكن تواجه صعوبات مع الأسئلة المفتوحة، و(iii) تحسين سلسلة الأفكار يزيد من دقة الإجابات، بينما تعطى نتائج مختلطة عند القياس باستخدام المقاييس المعتمدة على النغمات.

ستكون مجموعة البيانات المطورة متاحة للجمهور، لدعم المزيد من الأبحاث في تقييمات ثقافية ولغوية شاملة. لذا، فإن هذه المبادرة ليست مجرد خطوة للأمام في علوم الكمبيوتر، بل هي أيضًا دعوة للبحث في فهم أعمق للهجات والثقافات العربية.