التحديات الكامنة في استخدام نماذج اللغة الكبيرة لتقليد البيانات البشرية: دراسة تحليلية

في عصر الذكاء الاصطناعي، تسعى العلوم الاجتماعية إلى استخدام نماذج اللغة الكبيرة (Large Language Models) لإنشاء عينات اصطناعية تُعرف بعينات السيليكون. هذه البيانات تهدف أن تكون بديلاً عن ردود أفعال البشر، ومع ذلك، فإن عملية إنتاجها تتطلب اتخاذ العديد من القرارات التحليلية المهمة.

في دراسة حديثة، تم تحليل كيفية تأثير هذه الخيارات، مثل اختيار النموذج، معايير العينة، صيغة الأسئلة، وكمية المعلومات السكانية أو السياقية المقدمة. تمت دراسة ذلك من خلال تجربتين مختلفتين. في التجربة الأولى، تم إنتاج 252 تكوينًا لعينة سيليكونية لدراسة حالة محكومة، تم فيها تقييم ما إذا كانت هذه التكوينات تعكس ترتيب المشاركين، توزيع الردود، والارتباطات بين المقاييس. أظهرت النتائج تباينًا كبيرًا عبر المعايير الثلاثة، حيث أن التكوينات التي حققت أداءً جيدًا في بُعد واحد غالبًا ما فشلت في أبعاد أخرى.

وفي التجربة الثانية، تم توسيع دائرة التحليل لتشمل حالة استخدام منشورة لعينة سيليكونية، حيث أعيد فحص دراسة أجيل وآخرون (2023) باستخدام 66 تكوينًا بديلًا. أظهرت الارتباطات بين هياكل الارتباط البشرية وعينات السيليكون تباينًا كبيرًا، حيث تراوحت قيم الارتباط من 0.23 إلى 0.84.

تُظهر هذه النتائج أن الخيارات التحليلية المختلفة يمكن أن تُحدث فرقًا جوهريًا في استنتاجات البحث حول مصداقية عينات السيليكون. ولذلك، يُدعى المجتمع الأكاديمي إلى إيلاء المزيد من الاهتمام لتهديد المرونة التحليلية المرتبطة باستخدام هذه العينات، وتم اقتراح استراتيجيات يمكن أن يعتمدها الباحثون للحد من هذا التهديد.