في عالم الذكاء الاصطناعي، تُعتبر الشبكات العصبية من أهم الأدوات التي يمكننا الاعتماد عليها في التعلم العميق. ولكن ماذا يحدث عندما نطبق خوارزميات تدريب محددة مثل الانحدار العشوائي (SGD)؟

استنادًا إلى دراسة جديدة نشرت على موقع arXiv، أظهرت الأبحاث أن تدريب الشبكات العصبية باستخدام الانحدار العشوائي يتسم بسلوك متزايد للحدة، والذي يتمثل بعامل يُعرف باسم 'حدود الاستقرار' (Edge of Stability - EoS). عند استخدام الانحدار التدريجي الكامل، يرتفع أكبر قيمة ذاتية لمصفوفة هيسيان (Hessian) - والتي تمثل الحدة (Sharpness) - إلى قيم تصل إلى 2/η، حيث η هو مقدار الخطوة في خوارزمية الانحدار.

تُعتبر الضوضاء الناتجة عن التدرجات أثناء التدريب عاملًا مؤثرًا في استقرار هذا النظام الجديد. فقد اكتشف الباحثون 'الاستقرار الذاتي العشوائي'، والذي يُشير إلى كيفية تأثير الضوضاء على ديناميات التدريب، مما يؤدي إلى تحسين النتائج وتقليل الحدة الناتجة.

أظهر الباحثون من خلال دراستهم أن التغيرات العشوائية الناتجة عن الضوضاء تضيف تنوعًا إلى الديناميات، مما يعزز القوة المقللة للحدة، ويُعيد توازن النظام إلى قيم أقل. ومن خلال صياغة قانون رياضي، تمكّنوا من تحديد فجوة الحدة العشوائية التي تعتمد على عوامل متعددة، مما يمنح رؤية جديدة لتأثير حجم الدفعة في الانحدار العشوائي.

هذه التكنولوجيا تُعد بمثابة نقطة تحول في فهم كيفية تحسين أداء الشبكات العصبية، لذا يجب على العلماء والممارسين في هذا المجال متابعة هذه الاكتشافات الجديدة والفهم العميق لها.