في مجال الذكاء الاصطناعي، تعتبر قدرات المراقبة والتحليل من أهم العوامل لتحسين أداء الأنظمة الذكية. وهنا يأتي دور **ClawTrace**، المنصة الجديدة التي تمكّن الباحثين والمطورين من تتبع كل خطوة من خطوات وكيل الذكاء الاصطناعي (LLM) وتقييم تكاليفها بدقة.
لماذا ClawTrace مهمة؟
تعتمد خطوط أنابيب تحسين المهارات على تعلم القواعد القابلة لإعادة الاستخدام من مسارات وكيل الذكاء الاصطناعي، ولكن ينقصها عنصر حاسم: فهم تكلفة كل خطوة. من دون معرفة التكلفة، يصبح من الصعب التمييز بين إضافة خطوة مفقودة لعلاج خللٍ ما أو إزالة خطوة مكلفة لا تؤثر على النتائج.
كيف تعمل ClawTrace؟
تقوم **ClawTrace** بتسجيل كل استدعاء لوكيل الذكاء الاصطناعي، واستخدام الأدوات، وتوليد الوكلاء الفرعيين خلال جلسة الوكيل، وتجميع كل جلسة في **TraceCard**، وهو ملخص فائق الدقة يحتوي على تكلفة بالدولار الأمريكي (USD) لكل خطوة، وعدد الرموز، وإشعارات التكرار.
CostCraft: الابتكار التالي
مع بناء **ClawTrace**، تم تقديم **CostCraft**، وهو مسار تحسين يقرأ TraceCards وينتج ثلاثة أنواع من تصحيحات المهارات:
1. **تصحيحات الحفظ**: تحافظ على السلوكيات التي أدت إلى النجاح.
2. **تصحيحات الإزالة**: تزيل الخطوات المكلفة التي لم تكن لها تأثير، مدعومة بحجة مناقضة ضد خطوة مكلفة معينة.
3. **تصحيحات الإصلاح**: تعالج الفشل استنادًا إلى أدلة موثوقة.
أظهرت التجارب على 30 مهمة من **SpreadsheetBench** أن كلاً من نسب التكلفة وتصحيحات الإزالة ساهمت في تقليل التدهور في الجودة.
آثار مثيرة للاهتمام
عندما يتم تطبيق نفس المهارة على 30 مهمة غير مرتبطة من **SkillsBench**، تظهر مفارقة غير متوقعة: قوانين الإزالة تنقلت عبر المعايير وقللت التكلفة المتوسطة بنسبة 32%، بينما القواعد المحفوظة، التي تم تدريبها على تقاليد محددة، تسببت في تدهور على أنواع مهام جديدة.
في ختام المقال، تم طرح **ClawTrace** و**TraceCards** كالبنية التحتية المفتوحة للبحث في وكيل التكلفة.