أحد التحديات المعروفة في أنظمة الذكاء الاصطناعي هو مسألة الغرور، وهي الميل لتقديم إجابات واثقة حتى في غياب المعلومات الكافية. هذه المشكلة تتفاقم بشكل خاص في التطبيقات القانونية، حيث تعتبر مهمة المحامين والقضاة والإداريين هي تحديد ما إذا كانت الأدلة كافية للتوصل إلى استنتاج. تمثل قضايا تأمين البطالة مثالاً رئيسياً على هذا التحدي، إذ شهدت إدماجاً سريعاً للأنظمة الذكية مما يجعل سؤال التحري عن الحقائق الإضافية هو العقبة الأكبر التي تؤثر على ملايين المتقدمين سنوياً.

للتعامل مع هذه المسألة، تم التعاون مع وزارة العمل والتوظيف في ولاية كولورادو، للحصول على معلومات نادرة حول المواد التدريبية والإرشادات التي تساعد على تصميم معيار مبتكر يختلف في مستوى اكتمال المعلومات. من خلال تقييم لأربعة من أهم منصات الذكاء الاصطناعي، وجدنا أن الأساليب التقليدية التي تعتمد على ربط المعلومات (RAG) تحقق دقة تقترب من 15% فقط في الحالات التي تعاني من نقص المعلومات.

في محاولة لتحسين الدقة، تم استخدام أساليب استجابة متطورة تزيد من دقة النتائج في الحالات غير الحاسمة، لكن للأسف كانت هناك حالات للإفراط في التصحيح، إذ تردد النظام في اتخاذ القرارات حتى في الحالات الواضحة.

وفي ختام البحث، تم تقديم إطار عمل منظم يتطلب تحديد المعلومات المفقودة بشكل صريح قبل اتخاذ أي قرار، وهو ما يُسمى SPEC (Structured Prompting for Evidence Checklists). وقد أظهر هذا الإطار دقة تصل إلى 89%، بينما كان يتجنب اتخاذ القرارات عندما تكون الأدلة غير كافية. هذا يشير إلى أن الغرور في الذكاء الاصطناعي في المجال القانوني هو سمة منهجية، لكنها قابلة للتصحيح، وأن معالجة مثل هذه القضايا تعتبر خطوة ضرورية نحو أنظمة تدعم الحكم البشري بدلاً من أن تحل محله.