أثر تتبع النتائج غير المتوقعة: هل تصحيح الذكاء الاصطناعي يحقق فعلاً الدقة المطلوبة؟

في عصر يهيمن فيه الذكاء الاصطناعي، أصبحت نماذج اللغات الضخمة (Large Language Models) تعتمد بشكل متزايد على تتبع الاستدلال (Chain-of-Thought) كوسيلة لتحسين دقة النتائج. لكن دراسة جديدة تناقش بعض الفجوات المثيرة للجدل في هذا المجال، حيث تدعي أن الافتراضات حول دقة ووضوح هذه التتبعات قد تكون غير صحيحة.

تستند الأبحاث الأخيرة إلى فرضية أن الخطوات الوسيطة في الاستدلال، مثل تلك المقدمة في نموذج DeepSeek R1، يمكن أن تعزز من جودة النماذج الأصغر. ولكن هل هذه الخطوات فعلاً دقيقة وقابلة للفهم بالنسبة للمستخدمين النهائيين؟

للكشف عن ذلك، صممت التجارب بهدف تقييم مدى صحة وتتبعية خطوات الاستدلال في مجالات مثل الإجابة عن الأسئلة (Question Answering)، حيث يتم استخدام تقسيم المشكلات القائم على القواعد لإنشاء مجموعات بيانات دقيقة. وقد تم تقييم صحة التتبع من خلال فحص دقة كل خطوة من خطوات التفسير.

عند تقييم قابلية الفهم، تم تعزيز نماذج الذكاء الاصطناعي على ثلاثة أنواع إضافية من التتبع، بما في ذلك التتبع R1 ومراجعاته. في الواقع، انخرط 100 مشارك في دراسة للتقييم، لكن النتائج كانت مذهلة:
- لم يكن هناك ارتباط موثوق بين دقة التتبع والإجابات النهائية الصحيحة، حيث أظهرت التتبعات الصحيحة دقة فقط في 28% من الحالات.
- بالرغم من أن تحسين النموذج استنادًا إلى التتبعات R1 أدى إلى أداء أفضل، إلا أن المستخدمين اعتبروها الأقل قابلية للفهم (3.39 على مقياس من 5 نقاط)، بينما حققت التتبعاءات الأبسط دقة أقل ولكنها كانت أسهل الفهم.

تشير هذه النتائج إلى ضرورة إعادة التفكير في كيفية تصميم تتبع النموذج، مما يلقي الضوء على أهمية التفريق بين أهداف الإشراف على النموذج والقابلية للاستخدام من قبل المستخدمين النهائيين. هذه التحليلات تدعو الباحثين والممارسين إلى النظر في أبعاد جديدة في تصميم التتبع، تهدف في النهاية إلى تحسين تجربة المستخدم وضمان دقة النتائج.