في عصر الذكاء الاصطناعي المتقدم، أصبحت نماذج اللغات الكبيرة (LLMs) قادرة على إحداث ثورة في مهام البرمجة المختلفة. لكن هل يكفي ذلك؟ تكمن المشكلة الأساسية في أن اعتماد هذه النماذج يتطلب فهماً حقيقياً لتنفيذ البرامج، بدلاً من الاعتماد على الأنماط السطحية فقط.

من المعروف أن المعايير الحالية تركز على التنبؤ بخصائص البرامج المرتبطة بمدخلات معينة، مثل تغطية الأكواد (code coverage) والنواتج (outputs) الناتجة. ولكن يجب أن ندرك أن هذه المعايير تقدم رؤية ضيقة لفهم الكود الديناميكي، وغالباً ما تكون معرضة للتلوث البياني.

يقترح فريق البحث ضرورة تقييم تنفيذ البرامج من خلال فهم ثنائية التفكير، والتي تتضمن مهمتين تكملان بعضهما البعض: المهمة الأولى تتعلق بتوقع السلوك المرصود للبرنامج بناءً على مدخل معين، بينما الثانية تستهدف استنباط طرق تغيير المدخل لتحقيق هدف سلوكي محدد.

وقد تم تنفيذ هذا المفهوم في اختبار DexBench، الذي يتكون من 445 نموذجًا متطابقًا ليختبر 13 نموذجًا من نماذج اللغات الكبيرة. أظهرت النتائج أن التفكير ثنائي المسار يقدم أداة قوية للدلالة على فهم ديناميكي للكود.

إن الفهم العميق لكيفية تنفيذ البرامج سيساعد بالتأكيد المبرمجين والمطورين في تحسين أدائهم واستخدام أدواتهم بشكل أفضل. لذا، كيف ترون تقدم نماذج الذكاء الاصطناعي في هذا المجال؟ شاركونا آراءكم في التعليقات!