في عالم الذكاء الاصطناعي، تتقدم نماذج اللغة متعددة الوسائط (MLLMs) بسرعة مذهلة، مقدمةً تقنيات جديدة لتحليل العناصر المرئية. ومع ذلك، تظهر تحديات جديدة عند مواجهة الهياكل الهندسية المعقدة مثل التفرعات والتدفقات المتقاربة والاعتماديات الدائرية. هنا يأتي دور ReactBench، معيار مبتكر يكشف عن قصور نماذج MLLMs في التفكير الهيكلي، خصوصاً عندما يتعلق الأمر بفهم الرسوم البيانية للتفاعلات الكيميائية.

تقيس ReactBench القدرة على التعامل مع تحديات من الطراز الرفيع، حيث تتنوع الهياكل من سلاسل خطية إلى رسومات دائرية. يتضمن المعيار 1,618 زوجاً من الأسئلة والأجوبة، جميعها مُعَلَّمة بواسطة خبراء، وتغطي أربعة أبعاد وظيفية متدرجة.

قد أظهرت التقييمات الشاملة على 17 نموذج من نماذج MLLMs فجوة أداء ملحوظة تتجاوز 30% بين المهام المستندة إلى المراجع والمهام الهيكلية الشاملة. كما أوضحت نتائج التقييم أن هذا العجز ينشأ من التفكير وليس من القدرة على الإدراك.

إن هذا الاكتشاف يعكس عجزاً أساسياً في الفهم الهيكلي ويحدد اتجاهات جديدة لتقدم التفكير المرئي، مما قد يكون له تأثيرات كبيرة على كيفية تطوير نماذج الذكاء الاصطناعي في المستقبل.