تسريع وكيل التجارة في باي بال باستخدام تقنيات التشفير الاستباقي: دراسة تجريبية تفتح آفاق جديدة

في خطوة مثيرة نحو تعزيز الأداء، قامت باي بال بتوظيف تقنية التشفير الاستباقي (Speculative Decoding) في وكيل التجارة الخاص بها، والمزود بنموذج مُفصل يسمى لاما 3.1 نيموترون (llama3.1-nemotron-nano-8B-v1). تأتي هذه المبادرة في إطار جهود سابقة لتقليص زمن الاستجابة والتكاليف عبر تحسينات مستندة إلى المجال (Domain-Specific Fine-Tuning).

خلال هذه الدراسة، تم قياس أداء EAGLE3 عبر vLLM مقابل NVIDIA NIM مستخدمة نفس إعدادات الأجهزة (2xH100) عبر 40 تكوين مختلف مع التركيز على عدد التوكنات الاستباقية (gamma=3 و gamma=5)، ومستويات التزامن (من 1 إلى 32)، ودرجات الحرارة في عينات المحاكاة (0، 0.5).

أظهرت النتائج ما يلي:
1. تحقيق gamma=3 لتحسين في الإنتاجية بنسبة تتراوح بين 22-49% وتقليص زمن الاستجابة بنسبة 18-33% دون تكاليف إضافية للأجهزة.
2. بقاء معدل القبول ثابتًا عند حوالي 35.5% لجميع الشروط مع gamma=3.
3. تحقيق gamma=5 لعوائد متناقصة، حيث وصل معدل القبول إلى حوالي 25%.
4. تقييم LLM-as-Judge أكد الحفاظ على جودة الإنتاج الكامل.
5. أداء التشفير الاستباقي على جهاز H100 واحد يطابق أو يتجاوز أداء NIM الذي يتطلب جهازين H100، مع إمكانية تقليص تكاليف GPU بنسبة 50%.

بهذه الطريقة، تُظهر باي بال كيف يمكن استخدام التقنيات المتقدمة في الذكاء الاصطناعي لتعزيز الكفاءة وتقليل النفقات، مما يُعد خطوة مهمة نحو مستقبل أكثر إبداعًا في التجارة الإلكترونية.