وكلاء الذكاء الاصطناعي يحتاجون إلى تحكم أثناء التشغيل

في 19 يونيو 2026، الإشارة المهمة ليست أن روبوتات المحادثة أصبحت أكثر سلاسة. Google DeepMind نقلت النقاش إلى الأنظمة الحقيقية: عندما يستطيع الوكيل استخدام الأدوات وتنفيذ المهام والوصول إلى بيئات داخلية، لا يكفي الاعتماد على أن النموذج متوافق فقط.

ما الذي حدث

نشرت Google DeepMind خارطة طريق AI Control Roadmap، وهي إطار دفاع متعدد الطبقات للوكلاء المتقدمين. تحتفظ الخارطة بالمحاذاة، والعزل، وأمن نقاط النهاية، ومقاومة حقن التعليمات، لكنها تضيف تحكما على مستوى النظام: منح الصلاحيات تدريجيا بناء على السلوك المتحقق منه ومراقبة التفكير والأفعال.

لماذا يهم ذلك

خطر الوكيل لا يتعلق بالإجابة الخاطئة فقط. السؤال الأكبر هو ما البيانات التي يمكنه رؤيتها، وما الواجهات التي يمكنه استدعاؤها، وما الملفات التي يمكنه تعديلها، وما العمليات التي يمكنه تشغيلها. لذلك يجب أن يعيش الأمان أيضا في طبقة النشر والتشغيل.

خلاصة للبناة

عند بناء وكلاء، لا يكفي السؤال: ماذا يستطيع الوكيل أن يفعل؟ يجب أن نسأل: متى يحق له التصرف، إلى أي حد، من يتدخل عند الفشل، وهل يمكن مراجعة ما حدث؟ المنتجات الجيدة تحتاج إلى صلاحيات وسجلات وموافقات وتراجع ومراقبة.

المصادر

Google DeepMind: https://deepmind.google/blog/securing-the-future-of-ai-agents/ | Axios: https://www.axios.com/2026/06/18/google-deepmind-prepares-for-rogue-ai-agents | OpenAI: https://openai.com/index/chatgpt-enterprise-spend-controls/