تعد مراجعات الذكاء الاصطناعي مهمة في عملية تقييم الأوراق البحثية، ولكن هل يكفي الاعتماد على مطابقة الأحكام النهائية؟ في دراسة حديثة، تم اقتراح إطار جديد يُعرف بـ "محاذاة المخاوف" (Concern Alignment) يهدف إلى تقييم المراجعات ليس فقط من خلال الإجماع على الحكم، بل من خلال تحليل المخاوف التي يتم التعرف عليها، وكيفية ترتيبها، وما إذا كانت تلك الترتيبات تتوافق مع المنطق الذي شكل التقييم النهائي.

تكمن الفكرة الأساسية في استخدام ما يُعرف بـ "رسم بياني مطابقة" (Match Graph)، وهو عبارة عن علاقة ثنائية بين المخاوف الرسمية وتلك التي تكتشفها أنظمة الذكاء الاصطناعي، حيث يُضاف إليها معلومات عن نوع المطابقة، الحدة، والعناية بعد الردود. يقدم هذا الإطار سلم تقييم يبدأ من الدقة الثنائية وصولاً إلى كشف المخاوف، وسلوكيات مصنفة حسب الحكم، وضبط القرار، وتحليل الردود.

أظهرت دراسة أولية لأربعة أنظمة مراجعة ذكاء اصطناعي تم تقييمها في ست تكوينات مختلفة أن كشف المخاوف وحده لا يحدد جودة المراجعة. بل كان التعديل المناسب غالبًا هو العامل المحدد. ورغم أن الأنظمة اكتشفت نسبًا غير تافهة من المخاوف الرسمية، إلا أن معظمها اعتبرت 25-55% منها حاسمة في الأوراق المقبولة بينما لم يتم اعتبار أي مخاوف رسمية كعائق حاسم وفقًا لتعريفنا.

تحقق الأنظمة نتيجة دقيقة إجماليًا، لكن يمكن أن تخفي سلوكيات متحيزة (reject-heavy) مقابل ملفات ذات استرجاع منخفض (low-recall profiles). وهذا يعكس الحاجة إلى تشخيصات على مستوى المخاوف تظل ثابتة عبر خيارات الاستدلال، مما يعزز من قيمة هذا الإطار الجديد القابل لإعادة الاستخدام لتدقيق المخاوف التي تتعرف عليها المراجعات الآلية وكيفية وزنها، وما إذا كانت تلك الأولويات تتناسب مع المنطق الذي أُقدمت به الأوراق البحثية.

فما هي آرائكم حول أهمية تحليل المخاوف في مراجعات الذكاء الاصطناعي؟ شاركونا في التعليقات.