في عالم الذكاء الاصطناعي، تُعدُّ أنظمة الجيل المعزز (Retrieval-Augmented Generation - RAG) من التقنيات الحديثة التي تُحدث ثورة في طريقة استرجاع المعلومات. نقدم لكم اليوم مجموعة بيانات StratRAG، التي تمثل قفزة نوعية في تقييم هذه الأنظمة.
ما هي StratRAG؟
StratRAG هي مجموعة بيانات مفتوحة المصدر، تستهدف تقييم أداء أنظمة RAG في مهام التفكير المتعدد الخطوات تحت ظروف حقيقية تُشبه ما يواجهه المستخدمون يومياً. تم استلهامها من مجموعة بيانات HotpotQA، وتحتوي على 2200 مثال مقسمة إلى ثلاثة أنواع من الأسئلة: الجسور، المقارنة، ونعم/لا.
كيف تعمل StratRAG؟
تحتوي كل مجموعة بيانات على 15 مستندًا مرشحًا، منها مستندين ذهبيين و13 مستندًا ذا صلة بالموضوع. تم اختبار ثلاثة استراتيجيات استرجاع مختلفة:
- **BM25**
- **الديناميكية الكثيفة (Dense Retrieval)**
- **الاندماج الهجين (Hybrid Fusion)**
تتجاوز الدقة في الأداء الاسترجاعي مع نسبة استرجاع عند مستوى 2 تصل إلى 0.70 ومتوسط مرتبة الاسترجاع (MRR) عند 0.93، مما يدل على كفاءة الطريقة الهجينة. ولكن، تبقى الأسئلة ذات الجسور أكثر تحديًا بنسبة استرجاع تعادل 0.67، مما يُشير إلى ضرورة إجراء المزيد من الأبحاث في سياسات الاسترجاع المعتمدة على التعلم العميق.
كيف يمكنك الحصول على StratRAG؟
المجموعة متاحة للجمهور على [huggingface](https://huggingface.co/datasets/Aryanp088/StratRAG)، مما يسهل على الباحثين والمطورين استخدامها في تحسين أنظمتهم.
**سؤال للنقاش:** ما هي التطبيقات المحتملة التي يمكن أن تستفيد من بيانات StratRAG في مجال الذكاء الاصطناعي؟