تطوير نموذج fMRI-LM: جسر جديد لفهم الدماغ بلغة مشتركة!

شهدت السنوات الأخيرة تقدمًا ملحوظًا في مجالات النماذج اللغوية المتعددة الأنماط (Multimodal Large Language Models)، مما أتاح نموذجًا موحدًا للتفكير عبر الصور والمقاطع الصوتية ومقاطع الفيديو. ومع ذلك، فإن إجراء تواصل بين هذه التقنيات وصور الدماغ لا يزال يمثل تحديًا كبيرًا لم يتم استكشافه بشكل كامل.

لذلك، نقدم لكم نموذج fMRI-LM، الذي يعد بمثابة الأساس لجسر التفاعل بين التصوير الوظيفي للدماغ (Functional MRI) واللغة، وذلك من خلال إطار عمل ثلاثي المراحل. تبدأ المرحلة الأولى بتعلم مُرمز عصبي (Neural Tokenizer) يقوم بترجمة بيانات الـ fMRI إلى رموز منفصلة مُدمجة ضمن مساحة لغوية متسقة.

في المرحلة الثانية، يتم تعديل نموذج لغوي مُدرب مسبقًا (Pretrained LLM) ليتوافق مع معالجة رموز fMRI والنصوص، حيث يتم اعتبار نشاط الدماغ كترتيب يمكن التنبؤ به زمنياً والوصف لغويًا. وللتغلب على نقص الأزواج الطبيعية من fMRI والنصوص، تم إنشاء مجموعة بيانات وصفية واسعة تترجم ميزات التصوير المتنوعة إلى موصفات نصية منهيجة.

أما في المرحلة الثالثة، يتم تنفيذ ضبط تعليمي متعدد المهام ومتنوع الأنماط، مما يمنح fMRI-LM فهمًا دلاليًا عالي المستوى، ويدعم تطبيقات متنوعة في المستقبل. عبر مجموعة متنوعة من المعايير، حقق fMRI-LM أداء قويًا في كل من السيناريوهات التي لا تتطلب تدريبًا (Zero-shot) وتلك ذات التدريب القليل (Few-shot)، وقد تم ضبطه بكفاءة باستخدام تقنيات متطورة مثل LoRA.

يمثل هذا التطور خطوة مهمة نحو إنشاء نموذج شامل وموجه نحو اللغة لفهم البنية والدلالات في صور التصوير الوظيفي للدماغ. ما رأيكم في هذا التطور؟ شاركونا في التعليقات.