إعادة نظر ثورية في أهمية الانحدارات الحادة للذكاء الاصطناعي

في عالم الذكاء الاصطناعي، تعتبر الانحدارات المسطحة (Flat Minima) من العلامات التي تشير إلى قدرة الشبكات العصبية العميقة على التعميم بشكل أفضل. لكن، في الآونة الأخيرة، أثبتت العديد من الدراسات أن العلاقة بين الانحدار الحاد (Sharp Minima) والأداء قد تكون أكثر تعقيدًا مما كنا نعتقد. في دراسة جديدة، قمنا بإعادة تقييم دور الانحدار الحاد وأكدنا أنه من الأفضل فهمه كخاصية تعتمد على الوظيفة بدلاً من كونه مؤشراً على ضعف التعميم.

أجرينا دراسات شاملة شملت مجالات متعددة: من تحسين الأهداف الفردية إلى المهام التصنيفية الثنائية غير الخطية، وصولاً إلى تصنيف الصور الحديث. في دراسة تحسين الأهداف الفردية، تبين أن الانحدار المسطح والحاد مرتبطان بوظيفة التعلم: الحلول المثلى يمكن أن تظهر هندسة محلية مختلفة تمامًا.

أما في المهام الاصطناعية للتصنيف الثنائي، فقد أظهرنا أن زيادة صلابة حدود القرار يمكن أن تزيد من حدة الانحدار حتى عندما تكون النماذج قادرة على التعميم بشكل مثالي، مما يعني أن الحدة لا تعني فقط حصر المعلومات.

وأخيرًا، في التجارب واسعة النطاق، وجدنا أن الانحدارات الحادة تظهر غالبًا عندما يتم تنظيم النماذج (مثل من خلال تقليل الوزن، وزيادة البيانات، أو استخدام أساليب التحسين مثل SAM)، مما يتزامن مع أفضلية في التعميم، ودقة التصنيف، والموثوقية، والتناسق الوظيفي.

تشير نتائجنا إلى أن تعقيد الوظيفة، بدلاً من المسطح، يشكل هندسة الحلول، وأن الانحدارات الحادة يمكن أن تعكس تحيزات استقرائية أكثر ملاءمة، مما يستدعي إعادة تقييم هندسة الانحدارات من منظور يعتمد على الوظيفة.