في عالم الذكاء الاصطناعي، تتصارع نماذج اللغة الكبيرة (LLMs) مع مشكلة العشوائية في نتائجها، حتى عند استخدام درجة حرارة (temperature) تساوي صفر. ولكن، هل تساءلت يومًا عن ما يمنع هذه النماذج من إنتاج نتائج متسقة على الرغم من تقديم نفس المدخلات؟

مؤخراً، تناول فريق من الباحثين في مختبر Thinking Machines هذه الظاهرة، حيث يعني التحليل أن هناك مصادر متنوعة من العشوائية، تشمل اختلاف حجم الدفعة (batch-size variation) وعدم ثبات النواة (kernel non-invariance)، بالإضافة إلى خصائص العمليات العائمة (floating-point non-associativity).

تقدم الدراسة الجديدة مفهوم "درجة الحرارة الخلفية" (background temperature) $T_{bg}$، والتي تعكس درجات حرارة فعالة تحدث بسبب عمليات الاضطراب المعتمدة على التنفيذ، حتى في حالة أن تكون درجة الحرارة الاسمية $T=0$. تحدد هذه الدراسة بوضوح كيفية ارتباط $T_{bg}$ بعملية الاضطراب الاستوكاستيكية (stochastic perturbation) التي تديرها بيئة الاستدلال (inference environment) $I$.

بفضل بروتوكول تجريبي تم تقديمه، يمكن للباحثين الآن تقدير $T_{bg}$ من خلال قياس درجة الحرارة المكافئة $T_n(I)$ لنظام مرجعي مثالي. بعد إجراء مجموعة من التجارب الأولية على مجموعة تمثيلية من مقدمي خدمات LLM الرئيسية، أظهرت النتائج أهمية هذا النهج الجديد وتأثيره على القابلية لإعادة إنتاج النتائج وتقييم الأداء ونشر النماذج.

إذا كنت مهتمًا بتفاصيل هذه النتائج وكيف يمكن أن تؤثر على مستقبل الذكاء الاصطناعي، فلا تتردد في التعليق ومشاركة أفكارك حول هذه التطورات المثيرة!