في عالم الذكاء الاصطناعي، يعتمد الأداء الأمثل لنظام Mixture-of-Experts (MoE) على عدة عوامل، منها حجم الدفعة (batch size) وتوزيع التوجيه بين الخبراء (expert routing distribution). وبعد دراسة معمقة، وجد الباحثون أن الأنظمة الإنتاجية تعتمد فقط على حجم الدفعة، مما يؤدي إلى الاستفادة من 10-70% فقط من قدرة النواة (kernel throughput) الحقيقية.
ما هي RaMP؟
هنا تأتي أهمية **RaMP**، وهي إطار عمل مبتكر يضمن التوزيع الذكي للموارد. تقوم RaMP بتحليل المناطق الخاصة بالأداء (performance-region analysis) لتوقع الكفاءة القصوى لكل من المعمارية (architecture) المستخدمة، مما يساعد على تحسين الأداء بشكل مدهش. هذا النظام قادر على التنبؤ بدقة لجميع المكونات المعمارية الثمانية التي تم اختبارها، بما في ذلك ثلاثة مكونات غير مسبوقة.
نموذج wave cost
يعمل RaMP باستخدام نموذج تكلفة رباعي المكونات (four-parameter wave cost model) يعين أفضل إعداد قد يصل إليه أداء النظام، بالاستناد فقط إلى هندسة شبكة CTA (CTA grid geometry)، مما يجعله مستقلاً عن النواة (kernel-agnostic). فعند تطبيقه على Alpha-MoE، تمكن النظام من تحقيق زيادة في السرعة تصل إلى 1.14 مرة دون الحاجة لتعديل الكود.
نتائج ساحقة
عندما تم دمج RaMP مع نواة CuTe DSL المصممة بشكل متقن، والتي تعرض 134-268 تكوينات بوليمورفية (polymorphic configurations)، حقق الأداء تحسنًا ملحوظًا، إذ تمكنت التقنية من تحقيق تسريع قدره 1.22 مرة مقارنةً مع التوزيع الثابت، و1.30 مرة في أداء النهاية إلى النهاية (end-to-end speedup) في خادم vLLM عبر Triton، و1.41 مرة مقارنةً مع DeepGEMM، و1.13 مرة مقارنةً مع FlashInfer CUTLASS.
ماذا يعني كل هذا؟
يُظهر RaMP كيف يمكن للتقنيات الحديثة أن تقدم تحسينات ثورية في الأداء من خلال فهم أعمق لعمليات التوجيه وتوزيع الخبراء. هل أنت مستعد لاستكشاف كيف يمكن أن تسهم هذه الاكتشافات في تحسين أنظمتك الخاصة؟