تعتمد نماذج اللغات الضخمة (Large Language Models) على كميات هائلة من البيانات أثناء عملية التدريب. ومع ذلك، قد تحتوي بعض هذه البيانات على معلومات محمية بحقوق الطبع والنشر، مما ينذر بمخاطر قانونية وأخلاقية. وفي هذا السياق، تبرز هجمات استنتاج العضوية (Membership Inference Attacks - MIA) كأداة للكشف عن تلك الوثائق ومعرفة ما إذا كانت قد تم تضمينها في مجموعة بيانات تدريب نماذج اللغات.
تتطلب هجمات MIA نوعًا من التلاعب بالبيانات يجعل مقارنتها بين التقنيات المختلفة أمرًا معقدًا. وقد قام الباحثون بمراجعة أحدث التقنيات (State-of-the-art - SOTA) المستخدمة في هذا المجال ودراسة فعاليتها في ظل افتراضات الصندوق الأسود، حيث يفتقر الباحثون إلى رؤية واضحة حول كيفية عمل النماذج.
بدلاً من ذلك، تم تطوير طريقة جديدة تُسمى تصنيف الألفة (Familiarity Ranking) لعرض نهج محتمَل تعزز من حرية تعبير نماذج اللغات، وتمكينها من فهم استدلالاتها بشكل أفضل. لكن النتائج عكست أن جميع الطرق المستخدمة لم تكن قادرة على الكشف بشكل موثوق عن العضوية في نماذج اللغات، حيث تُظهر نتائج AUC-ROC تقريبًا 0.5 لجميع الطرق عبر عدة نماذج لغات.
وأظهرت نتائج دراسة أخرى أن النماذج المتقدمة أعلى في معدل الإيجابيات الحقيقية والإيجابيات الزائفة، مما يعكس قدراتها المتطورة في الاستدلال والتعميم، مما يجعل مهمة الكشف عن العضوية في هذه النماذج أكثر تعقيدًا.
يوضح هذا البحث الصعوبات التي يواجهها الباحثون في محاولة ضمان سلامة وشرعية البيانات المستخدمة لتدريب نماذج الذكاء الاصطناعي، ويعتبر خطوة نحو تحسين التفاهمات القانونية والأخلاقية في عصر التكنولوجيا الحديثة.
الكشف عن تلوث البيانات في نماذج اللغات الضخمة: التحديات والابتكارات
تظل نماذج اللغات الضخمة (LLMs) محاطة بتحديات تتعلق بالبيانات التي تم استخدامها في تدريبها. دراسة جديدة تكشف عن فعالية منخفضة لتقنيات الكشف عن الوثائق المستخدمة في تدريب هذه النماذج.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
