في ظل التطورات المتسارعة في عالم نماذج اللغات الضخمة (Large Language Models)، تظهر الحاجة المتزايدة لفهم كيف يمكن أن تؤثر الاختلافات المعمارية في أداء النماذج. يتضمن هذا المجال الواسع نماذج تقليدية مثل Transformer، بالإضافة إلى GateDeltaNet وMamba. لكن تبقى القوانين التطورية المتعلقة بالتمثيلات الهرمية ومعرفة المهام وآلية استخدام الشبكات على الدوام غامضة، مما يؤدي إلى تحديات محورية في تصميم الهياكل الهجينة وتحسين النموذج.

لذلك، قدم الباحثون LayerTracer، وهو إطار تحليل شامل وغير معتمد على نوع معين من العمارة، مما يجعله متوافقًا مع أي هيكل لنموذج غير محدد. يعتمد LayerTracer على استخراج الحالات المخفية طبقة بعمق وتوزيع الاحتمالات المعجمية، مما يتيح تحليلًا مشتركًا لموقع جزيئات المهام وتحديد ضعف الطبقات.

بشكل خاص، يتم تعريف جزيئات المهام كأهم طبقة تبدأ فيها احتمالية الهدف بالارتفاع بشكل ملحوظ، مما يمثل بداية تنفيذ النموذج للمهام، في حين أن الطبقة الضعيفة تحدد على أنها الطبقة التي تظهر أكبر تباين بين توزيعات النتائج قبل وبعد اضطراب القناع، مما يعكس حساسيتها للتقلبات.

أظهرت التجارب على نماذج مختلفة أنها تكشف أن جزيئات المهام تظهر بشكل رئيسي في الطبقات العميقة، بغض النظر عن حجم المعلمات، في حين أن النماذج ذات المعلمات الأكبر تظهر ثباتًا هرميًا أقوى. يوفر LayerTracer أساسًا علميًا لتقسيم الطبقات، ونسبة الوحدات، وتحويلات التبديل في الهياكل الهجينة، مما يسهم بشكل فعال في تحسين أداء النماذج. كما يساعد في تحديد الطبقات السرية وتحديد العناصر الضعيفة، مما يقدم دعمًا عالميًا لبحوث تصميم هياكل نماذج الذكاء الاصطناعي الضخمة وفهمها.