في عالم البرمجة المعاصر حيث تُستخدم نماذج اللغة الكبيرة (Large Language Models) لتحسين أبحاث تطوير البرمجيات، باتت المخاطر الأمنية الناتجة عن الأكواد التي ينتجها الذكاء الاصطناعي قضية ملحة تستدعي الانتباه. وعلى الرغم من توفر معايير تقييم سابقة، فإنها لم تكن قادرة على محاكاة السيناريوهات الحقيقية التي تُدخل فيه الثغرات بواسطة المطورين البشر، مما يجعل المقارنة العادلة بين الإنسان والأنظمة الآلية أمرًا بالغ الصعوبة.
ماذا يقدم SecureVibeBench؟
**SecureVibeBench** هو معيار جديد يتميز بـ 105 مهمة برمجية آمنة باستخدام لغتي C وC++ تم جمعها من 41 مشروعًا على منصة OSS-Fuzz. يتيح هذا المعيار:
1. **إعدادات مهام واقعية** تتطلب تعديلات متعددة في مستودعات كبيرة.
2. **سياقات متوافقة** مبنية على ثغرات حقيقية في البرمجيات مع تحديد نقاط إدخال الثغرة بدقة.
3. **تقييم شامل** يجمع بين اختبارات الوظائف وفحص الأمان باستخدام أنظمة استعلام ثابتة وديناميكية.
لقد جرت تجربة 5 من أشهر وكلاء الكود مثل OpenHands، المدعومة بخمسة نماذج لغة تتضمن Claude sonnet 4.5، على قاعدة بيانات SecureVibeBench. أظهرت النتائج أن الوكلاء الحاليين يواجهون صعوبة في إنتاج كود صحيح وآمن، حيث حقق أفضلهم فقط نسبة 23.8% من الحلول الصحيحة والآمنة.
للمزيد من المعلومات، يمكنك زيارة [رابط الكود والبيانات](https://github.com/iCSawyer/SecureVibeBench).
في الختام
هل تعتقد أن هذه المعايير ستحدث طفرة في أمان البرمجة باستخدام الذكاء الاصطناعي؟ شاركنا برأيك!