تعد الجودة في استرجاع المعلومات العنصر الرئيسي الذي يؤثر على دقة وموثوقية الأنظمة المعتمدة على استرجاع المعلومات المعززة بالتوليد (Retrieval-Augmented Generation - RAG). في الوقت الحالي، يعتمد التقييم على مجموعات استعلام تم إنشاؤها بشكل يدوي، مما يسبب انحيازاً خفياً في النتائج. لذلك، اقترح الباحثون نهجاً جديداً لتقييم استرجاع المعلومات يعتمد على مفهوم 'التحليل الدلالي' (Semantic Stratification).

يعيد هذا المفهوم تشكيل طريقة تناول التقييم من خلال اعتماد هيكلية قائمة على الكيانات (Entity-Based Clusters) لتنظيم المستندات في فضاء عالمي قابل للفهم. من خلال ذلك، يتم توفير تغطية دلالية موثوقة تتيح رؤية أوضح لفشل الاسترجاع.


تشمل الفوائد الرئيسية لهذه الطريقة: 1) ضمانات رسمية لتغطية دلالية عبر أنظمة الاسترجاع المختلفة. 2) رؤية واضحة لفشل الاسترجاع، وكل ذلك مدعوم بتجارب تمت عبر عدة معايير وطرق استرجاع. أظهرت النتائج الموجودة وجود فجوات هيكلية، كما تم التعرف على إشارات هيكلية تفسر الاختلافات في أداء الاسترجاع.

نتيجة لذلك، يثبت التقييم المصنف أنه يوفر مقاييس أكثر استقرارًا وشفافية، مما يجعل من عملية اتخاذ القرارات أكثر وثوقية مقارنة مع القياسات التقليدية.