في عالم الذكاء الاصطناعي، تعتبر النماذج اللغوية الكبيرة (LLMs) عنصراً أساسياً في تحسين الأداء. ومع ذلك، فإن زيادتها تجعل تكاليف الاستنتاج تتزايد بشكل كبير، حيث تستهلك الشبكات العصبية التقليدية (FFNs) الجزء الأكبر من الموارد الحسابية. هنا يأتي دور المعمارية المختلطة من الخبراء (MoE) التي تسهم في تقليل هذه التكاليف بفضل التنشيط المتناثر.

لكنَّ تحويل النماذج الكثيفة الموجودة إلى نماذج مختلطة من الخبراء يتطلب عادةً إعادة تدريب مكثفة على مئات المليارات من التوكنات، مما قد يستغرق وقتاً طويلاً وموارد ضخمة. لهذا السبب، تم تقديم إطار عمل تحليلي جديد بعد التدريب.

هذا الإطار يُظهر كيفية إعادة هيكلة الشبكات العصبية بكفاءة إلى معمارية MoE باستخدام مجموعة بيانات معايرة صغيرة فقط. يعتمد الأسلوب على تحليل أنماط تنشيط الخلايا العصبية لتقسيمها إلى خبراء دائمين ونشطين شرطين، بالإضافة إلى بناء مُوزع بشكل تحليلي من إحصائيات الخلايا العصبية التمثيلية. يتضمن ذلك إمكانية النشر الفوري للنماذج أو خيار تحسين خفيف الوزن فيما بعد، مما يزيد من كفاءة الإجراءات.

تطبيق هذه الطريقة ينطبق أيضاً على النماذج الكثيفة الموجودة، بل يمكن أن يعزز فعالية النماذج المختلطة الحالية من خلال التحسين الهيكلي. أظهرت التجارب المكتسبة زيادة في سرعة الأداء تصل إلى 1.17 مرة في السيناريوهات المعتمدة على الحوسبة، مع معالجة سريعة لا تتجاوز عدة دقائق وتحسين خفيف باستخدام 2000 عينة.

هذه الابتكارات تجلب رؤية جديدة لتقنيات الذكاء الاصطناعي، وتفتح المجال أمام تطبيقات أكثر كفاءة وإنتاجية.

ما رأيكم في هذا التطور؟ هل تعتقدون أن إعادة الهيكلة بهذه الطريقة ستحدث ثورة في استخدام الذكاء الاصطناعي؟