مقدمة
تواجه نماذج اللغة الكبيرة (Large Language Models) التي تتعامل مع السياقات الطويلة العديد من التحديات، حيث تتطلب تكاليف تشغيل مرتفعة وغالبًا ما تفشل في معالجة مدخلات طويلة بشكل موثوق. ولذا، يُعتبر ضغط السياق عنصرًا أساسيًا في العديد من الأنظمة.
التحديات الحالية
تعتمد approaches الحالية لضغط السياق عادةً على ضواغط مدربة، أو أساليب الانتقاء الكثيف، أو تقنيات القص الheuristic، وغالبا ما تفشل في الحفاظ على أهمية المهام وتغطية المواضيع وتماسك الجمل ضمن ميزانية صارمة من الرموز.
الابتكار الجديد
للتغلب على هذه العقبات، نقدم إطار عمل مبتكراً لضغط النصوص دون الحاجة إلى تدريب، والذي يعمل بشكل مستقل عن النموذج. يعتمد هذا الأسلوب على اختيار مجموعة مدمجة من الجمل مسترشدة بمبادئ الرسوم البيانية الهيكلية.
كيفية عمل الطريقة
ينشئ نهجنا رسماً بيانياً هجيناً للجمل يجمع بين الحواف الدلالية المتبادلة (mutual k-NN semantic edges) مع الحواف التسلسلية قصيرة المدى (short-range sequential edges). كما يمكنه استخراج هيكل المواضيع من خلال التجميع، وتصنيف الجمل باستخدام درجة قابلة للتفسير تدمج بين أهمية المهمة، وتمثيل الكتلة، وأهمية الجسر (bridge centrality)، وإشارات تغطية الدورات.
بعد ذلك، ينتج اختيار جشع محدود مع دعم التكرار سياقًا مضغوطًا قابلًا للقراءة مع الحفاظ على الترتيب الأصلي.
النتائج والتوجهات المستقبلية
أظهرت التجارب على أربعة مجموعات بيانات أن طريقتنا تتنافس بقوة مع الأساليب التقليدية extractive وabstractive، مع تحقيق مكاسب أكبر على مؤشرات الوثائق الطويلة.
الخاتمة
تظهِر هذه الدراسة كيف يمكن للتقنيات الحديثة في ضغط سياق نماذج اللغة أن تُحدث نقلة نوعية في معالجة المعلومات، مما يوفر مسارًا واعدًا لتحسين الكفاءة والأداء في هذا المجال.