ثورة في تقييم النماذج اللغوية: مقابلة بين تحديات الأمان والذكاء الاصطناعي

في ظل تزايد الاعتماد على النماذج اللغوية الكبرى (LLMs) في مجال الأمن السيبراني، يبرز البحث في كيفية تقييم قدرتها ومرونتها في مواجهة التحديات. وقد قدم فريق من الباحثين طريقة جديدة تعتمد على ما يدعى بـ 'عائلات تحديات الالتقاط' (Capture-the-Flag Families)، حيث يتم استخدام تحدٍ واحد لإنتاج مجموعة من التحديات المتكافئة من الناحية الدلالية من خلال تحولات برمجية تحافظ على المعنى.

تكمن الفكرة الرئيسية في استخدام أداة تُعرف بـ Evolve-CTF، والتي تستطيع توليد عائلات من التحديات القائمة على بايثون (Python) باستخدام مجموعة متنوعة من التحولات البرمجية. من خلال استخدام هذه الأداة، قام الباحثون بتقييم 13 تكويناً مختلفاً من نماذج اللغة، مما أظهر أن هذه النماذج تتمتع بمرونة ملحوظة في التعامل مع تغييرات بسيطة مثل إعادة التسمية وإدخال أكواد جديدة.

ومع ذلك، بينت النتائج أن التحولات المركبة والتعتيم الأعمق على الشيفرة قد تؤدي إلى تراجع الأداء، حيث تتطلب استخدام أدوات أكثر تعقيداً. كما لوحظ أن تمكين التفكير الصريح لم يكن له تأثير كبير على معدلات النجاح.

تشكل هذه الطريقة والأداة إضافة قيّمة لتقييم قدرة نماذج اللغة الكبرى، متيحة تحسين الفهم حول قدراتها الحالية في هذا المجال المتطور.