في عصر تتسارع فيه خطط تطوير نماذج الذكاء الاصطناعي، أصبحت الأبعاد العليا للذكاء الصناعي تتطلب تحسناً في أداء الاتصال بين وحدات المعالجة الرسومية (GPUs). وبخاصة، يعتبر التواصل بين هذه الوحدات عنصراً حاسماً، وقد كان يواجه تحديات عديدة في الماضي، بما في ذلك انخفاض الكفاءة بسبب حجم البيانات الكبير.
مؤخراً، تم تقديم ابتكار يدعى UCCL-Zip، وهو تصميم موحد يدمج ضغط البيانات بدون فقدان مباشرةً في أساليب الاتصال بين وحدات المعالجة الرسومية. يدعم UCCL-Zip كل من الاتصال من نقطة إلى نقطة (P2P) والتواصل الجماعي، مما يجعله حلاً مرناً للغاية.
يمتاز UCCL-Zip بتقنيتين رئيسيتين:
1. **الضغط في الاتصال من نقطة إلى نقطة**: حيث يتم استخدام طريقة **Uzip-P2P**، والتي تعتمد على تقسيم عملية الإرسال لإظهار البيانات القابلة للإرسال مبكراً. كما تتداخل عملية الضغط مع عملية الاتصال، مما يحافظ على كفاءة عالية لوحدات المعالجة الرسومية من خلال العمل على كتل بيانات كبيرة.
2. **تكامل الضغط في الاتصال الجماعي**: يقوم **Uzip-NCCL** بدمج عملية الضغط ضمن نموذج النواة الدائم لـ **NCCL** عبر التنفيذ المدمج، مما يلغي حركة الذاكرة غير الضرورية وإطلاق النواة.
أظهرت الاختبارات أن نظام UCCL-Zip يمكن أن يعزز من سرعة تزامن أوزان التعلم المعزز (RL) بنسبة تصل إلى 47.5%، ويقلل زمن استجابة الانفاذ الكامل لموديل vLLM بنسبة تصل إلى 10% – كل ذلك دون الحاجة إلى أي تغيير في التطبيقات المستخدمة.
UCCL-Zip: ثورة في ضغط البيانات لتحسين الاتصال عبر وحدات المعالجة الرسومية
يقدم نظام UCCL-Zip طريقة مبتكرة لضغط البيانات بدون فقدان، تعزز سرعة الاتصال في وحدات المعالجة الرسومية (GPUs) بشكل ملحوظ. رغم التحديات السابقة في جودة البيانات، يحقق هذا النظام أداءً فائقا دون الحاجة لتغيير البنية المعتمدة.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
