في السنوات الأخيرة، حققت نماذج اللغة الضخمة (LLMs) تقدماً ملحوظا في العديد من المجالات، بما في ذلك القطاع القانوني. ومع ذلك، رغم أدائها الجيد في بعض الاختبارات القانونية، يبقى تساؤلٌ مُلحٌ حول قدرتها على التعامل مع التفكير القانوني المفتوح بشكلٍ فعّال، وخاصة في السياقات الواقعية.
ما هو جديد؟
قام الباحثون بتقديم أول مجموعة بيانات مصممة خصيصًا لتقييم أداء نماذج اللغة الضخمة في التفكير القانوني المفتوح ضمن النظام القانوني الياباني. تستند هذه الدراسة إلى مكون الكتابة من امتحان المحاماة الياباني، والذي يتطلب من المتقدمين تحديد عدة مسائل قانونية من سردٍ طويل، وصياغة حجج قانونية منظمة في نصٍ حر.
أهم الاكتشافات
نقطة القوة في هذه الدراسة تكمن في التقييم اليدوي لردود نماذج اللغة الضخمة الذي قام به خبراء قانونيون، مما يكشف عن قيود وتحديات يصادفها الذكاء الاصطناعي في التفكير القانوني. كما أجرينا تحليلًا يدويًا لمظاهر الهلوسة (hallucinations) التي تظهر لدى النماذج، لتحديد متى ولماذا تُدخل هذه النماذج محتوى غير مدعوم بالسوابق القانونية.
تُظهر بيانات الامتحانات الحقيقية، وردود النماذج، وتقييمات الخبراء milestones (معالم) لمستوى النماذج الحالية في المجال القانوني الياباني. وتجدر الإشارة إلى أن مجموعة البيانات وجميع الموارد المعنية ستتوفر قريبًا على الإنترنت.
تأثير الدراسة
من خلال هذه النتائج، نشهد بداية توجيه جديد نحو تحسين القدرات القانونية لنماذج اللغة الضخمة، مما يفتح الأبواب لمزيد من الأبحاث في هذا المجال. كيف ترى مستقبل الذكاء الاصطناعي في المجال القانوني؟