مقياس DASB: ثورة جديدة في معالجة الصوت والكلام!

في عالم الذكاء الاصطناعي، شهدت الرموز الصوتية المنفصلة (Discrete Audio Tokens) تزايداً كبيراً في الاهتمام، إذ تُعتبر هذه التقنية المفتاح الجوهري لتحسين معالجة الصوت والكلام وتطوير نماذج لغوية متعددة الوسائط (Multimodal Language Models). لكن، رغم هذه الإمكانيات الواعدة، تبقى تحديات عديدة تتعلق بالحفاظ على المعلومات الحيوية مثل المحتوى الصوتي (Phonetic Content)، هوية المتحدث (Speaker Identity)، والإشارات المنغمسّة (Paralinguistic Cues).

للتغلب على هذه التحديات، تم تقديم مقياس DASB (Discrete Audio and Speech Benchmark) كإطار شامل يسمح لنا باختبار الرموز الصوتية المنفصلة عبر مجالات مختلفة مثل الكلام (Speech)، الصوت العام (General Audio)، والموسيقى (Music). هذا الإطار يوفر تقييمًا دقيقًا للأداء في مجموعة متنوعة من المهام التمييزية (Discriminative Tasks) والإنتاجية (Generative Tasks).

وعلى الرغم من النتائج التي توصلنا إليها، حيث أظهرت الأبحاث أن التمثلات المنفصلة أقل قدرة على تحمل الضغوط مقارنة بالتمثيلات المتصلة (Continuous Representations)، إلا أن الإعداد الدقيق لعوامل مثل بنية النموذج (Model Architecture)، حجم البيانات (Data Size)، ومعدل التعلم (Learning Rate) يمكن أن يؤدي إلى تحسين النتائج بشكل كبير. كما أشارت الدراسات إلى أن الرموز الدلالية (Semantic Tokens) غالبًا ما تتفوق على الرموز الصوتية، لكن الهوة بين الرموز المنفصلة والخصائص المتصلة لا تزال قائمة، مما يسلط الضوء على ضرورة المزيد من الأبحاث.

يمكن لجميع المهتمين الوصول إلى التعليمات البرمجية الخاصة بمقياس DASB وإعداد التقييم وقوائم المتصدرين (Leaderboards) عبر الموقع الإلكتروني الرسمي https://poonehmousavi.github.io/DASB-website/