أصبح تقييم تأثير المنشورات العلمية من الأمور الحيوية في عالم البحث العلمي، لكن الطرق التقليدية كانت تعاني من بعض العيوب. ففي السابق، كانت الدراسات تعتمد بشكل كبير على تحليل نص الاقتباس بمعزل عن السياقات الأخرى، مما يصعب المقارنات النسبية بين الأوراق العلمية المختلفة.

هنا تظهر أداة "كريستال" (Crystal)، الثورية في هذا المجال، التي تستخدم نماذج اللغات الضخمة (Large Language Models) لتقييم تأثير المنشورات بطريقة أكثر شمولية. تقدم كريستال تجربة جديدة تماماً من خلال تصنيف جميع المنشورات المستشهد بها داخل الورقة البحثية الواحدة، بدلاً من تحليل كل اقتباس بمفرده.

وقد اشتملت الطريقة على تكرار تصنيف كل قائمة من الاقتباسات ثلاث مرات بترتيب عشوائي، مما يسمح بتقليل تحيز المكان لدى نماذج اللغات. ومن ثم تم تجميع نتائج التصنيف من خلال التصويت بالأغلبية، ليتم الاعتماد على هذه الطريقة الواسعة في تحليل السياقات بشكل موثوق.

ثبت أن كريستال تتفوق على الأنظمة السابقة بمعدل دقة يزيد عن 9.5% ونسبة F1 عالية تبلغ 8.3% عند تقييمها على مجموعة بيانات تحتوي على اقتباسات ذات تصنيفات بشرية. كما أن هذه الأداة تتمتع بكفاءة أعلى من خلال تقليل عدد استدعاءات نموذج اللغات، مما يجعلها منافسة قوية للنماذج مفتوحة المصدر.

قمنا بإصدار تصنيفاتنا، والعلامات المتأثرة، وقاعدة التعليمات البرمجية، لدعم الأبحاث المستقبلية ورسم ملامح جديدة للبحث العلمي.