تسارع التطورات في أنظمة الذكاء الاصطناعي (AI) يجعلها قريبة من التطبيقات الواقعية، ولكن لا تزال استعداداتها للتفاعل في البيئات المعقدة والشخصية تحتاج إلى المزيد من التقييم. لمواجهة هذه التحديات، تم تقديم PersonalHomeBench كمعيار موحد لتقييم النماذج الأساسية (Foundation Models) كمعاونين ذكيين في المنازل الذكية المخصصة.

يتكون PersonalHomeBench من عملية تدريجية تقوم ببناء حالات منزلية غنية، التي تُستخدم بعد ذلك لإنشاء مهام شخصية تعتمد على السياق، مما يوسع من نطاق تفاعل الأنظمة الذكية في البيئات المعقدة. ولتعزيز هذا التفاعل الواقعي، أُطلقت مجموعة أدوات PersonalHomeTools، التي تُسهل استرجاع المعلومات المنزلية، والتحكم في الأجهزة، وفهم المواقف المختلفة.

يقوم PersonalHomeBench بتقييم المهارات التفاعلية والاستباقية للأنظمة الذكية تحت ملاحظات أحادية ومتعددة الأنماط. تظهر التجارب الشاملة تراجعاً منهجياً في الأداء مع زيادة تعقيد المهام، مع فشل واضح في التفكير المضاد (Counterfactual Reasoning) تحت ظروف الرؤية الجزئية، حيث يتطلب الأمر جمع المعلومات الفعّالة باستخدام الأدوات.

تُظهر النتائج أن PersonalHomeBench يمثل منصة تقييم صارمة لتحليل قوة وقيود التفكير والتخطيط الشخصي للذكاء الاصطناعي، مما يمهد الطريق لتحسين القدرة على العمل في البيئات المنزلية الذكية.