تواجه الساحة العلمية تحديات كبيرة نتيجة الزيادة المستمرة في عدد الأبحاث المقدمة، مما يفوق القدرة على التعامل مع هذه المهام من قبل المراجعين البشر المتمرسين. مع تزايد الضغوطات، أصبح استخدام نماذج اللغة الكبيرة (Large Language Models - LLMs) في عملية المراجعة الأكاديمية أمرًا جذابًا بل ولا مفر منه.
ومع ذلك، فقد دفعت الاستخدامات المبكرة لهذه النماذج إلى ظهور نقاط ضعف هامة. فقد كشفت الحوادث الأخيرة أن إدخالات خاصة مخفية في الوثائق يمكن أن توجه المراجعات التي تنتجها نماذج الذكاء الاصطناعي نحو تقييمات إيجابية غير مبررة. كما أظهرت دراسات مكملة هشاشة هذه النماذج عند التعامل مع عبارات عدائية، وتحاملات مرتبطة بالمكانة وطول النص، وادعاءات غير واقعية.
تثير هذه الوقائع سؤالاً جوهريًا في مجال التواصل الأكاديمي: **عندما يقوم الذكاء الاصطناعي بمراجعة الأبحاث، هل يمكننا الوثوق بالمراجعين الآليين؟**
تقدم دراسة جديدة تحليلاً مركزًا حول موثوقية وأمان المراجعة الأكاديمية بواسطة الذكاء الاصطناعي، حيث استعرضت نقاط الضعف عبر دورة مراجعة الأبحاث من تدريب واسترجاع البيانات، إلى المراجعات العميقة، والمناقشة، على مستوى النظام. كما استخدمت الدراسة أربعة نماذج تحكم على مجموعة مختارة من الأبحاث المقدمة لمؤتمر ICLR 2025، عبر استخدام مراجعين معتمدين على LLMs لتحديد التأثيرات السببية لفقرات المكانة، وقوة التأكيد، والانحياز في الردود.
تشير النتائج إلى ضرورة تحديد نقاط الضعف بشكل دقيق من أجل تطوير آليات فعّالة لمواجهة هذه التحديات. لذا، فإن هذا البحث يمكن أن يكون نقطة انطلاق لتقييم موثوقية مراجعة الذكاء الاصطناعي بشكل موضوعي.