تشهد أنظمة الذكاء الاصطناعي تطوراً متسارعاً بفضل التقنيات الحديثة مثل نماذج اللغة الكبيرة (Large Language Models) ونماذج الرؤية واللغة (Vision-Language Agentic Systems). هذه الأنظمة تُمكن الذكاء الاصطناعي من فهم المشاهد الحقيقية والتفاعل معها بفعالية.
أحد الجوانب المهمة في هذه الأنظمة هو الاعتماد على الإشارات البيئية، مثل إشارات المرور، التي يجب أن تؤثر بشكل فعّال على سلوك الوكلاء الذكاء الاصطناعي. ومع ذلك، هناك تحدٍ جديد يتمثل في إمكانية وجود تداخلات بصرية مضللة قد تعكس نوايا المستخدم الحقيقية وتعرض المستخدم لمخاطر أمنية.
هذه الظاهرة تُعرف بـ "ارتباك حدود الثقة" (Trust Boundary Confusion)، حيث يجب على الأنظمة الموازنة بين الإشارات الصحيحة والمضللة لتحقيق استجابة موثوقة.
في دراسة جديدة، تم تصميم مجموعة بيانات مزدوجة النوايا وإطار تقييم لفحص سلوك الوكلاء، حيث أظهرت النتائج أن الوكلاء الحاليين يعانون من عدم القدرة على التوازن بين هذه الإشارات.
لذلك، تم اقتراح إطار دفاع متعدد الوكلاء يفصل بين إدراك الإشارات واتخاذ القرارات، مما يُساعد في تقييم موثوقية المدخلات البصرية بشكل ديناميكي. تسهم هذه الطريقة في تقليل سلوكيات الخداع مع الحفاظ على الاستجابة الصحيحة للبيانات.
تحديات جديدة أمام أنظمة الذكاء الاصطناعي: كيف نحمي ثقة المستخدم في التفاعل مع البيئة؟
تتطور أنظمة الذكاء الاصطناعي التي تجمع بين الرؤية واللغة، ولكن ظهور تداخلات بصرية مضللة يضع الثقة في هذه الأنظمة على المحك. دراسة جديدة تستعرض هذه المشكلة وتقدم حلولاً مبتكرة.
المصدر الأصلي:أركايف للذكاء
زيارة المصدر الأصلي ←جاري تحميل التفاعلات...
