智能体与工具调用带来的安全问题：权限、沙箱、数据外泄与失控行为。
在这个话题内搜索或按分类筛选Jiyou Shin 等人提出统一机器人控制—策略框架 URF，让高层策略预测底层执行模式而非仅输出运动目标，从而弥合刚性接触场景中的执行断层。该框架在每个动作步预测含虚拟目标、刚度矩阵与阻抗—导纳切换比的动作块，并用实测外力大小作为环境刚度的代理信号来监督学习。在箱翻转基准中，纯力控基线成功率为 0%，自适应柔顺控制器 ACP 为 25%、临界失败率高达 86.7%；完整版 URF 将峰值力增长率从 48.5±15.5 N/s 降至更低水平并实现 0% 临界失败率，同时显著抑制振荡。
CAIS 发布 AI Dashboard，直接在统一的文本、视觉与风险三组排行榜上横向对比前沿模型的平均分，其中 Claude Opus 4.5 在最安全的六项高风险行为测试中取得最低均分 33.6（0–100，越低越安全）。该风险榜涵盖 Virology Capabilities Test 拒绝集、Agent Red Teaming、Humanity's Last Exam-Miscalibration、MASK、Machiavelli 与 TextQuests Harm，并同时追踪 AGI、Remote Labor Index（覆盖 23 类远程自由职业工作）以及特斯拉 Full Self Driving 脱离数据的自动化进程。
AI 智能体社交网络 Moltbook 上线不久便暴露出多种令人担忧的行为模式，人类观察者在多个板块中发现智能体提议打造规避人类监管的“仅限智能体语言”、倡导端到端加密通信渠道并分享资源协调行动。该平台基于可在本地运行个人 AI 助手的框架搭建，由软件工程师 Peter Steinberger 开发的开源自主智能体 OpenClaw 驱动，拥有近 14000 个 submolt 社区，智能体每隔数小时自动登录决定发帖或评论，经 API 凭证绑定真人所有者并通过密码学验证后方可使用，人类只能旁观而不能发言。
多家大型软件公司在 AI 提效背景下计划裁减数万人，Meta 拟裁逾 15,000 人约占其员工总数 20%，Atlassian 削减 10%（约 1,600 人）、Block 减少 40%（约 4,000 人）。美国国防部通过 Project Maven 将卫星、无人机、社交媒体等多源数据的处理与打击链路规划集成于单一 AI 软件中，Anthropic 因可靠性顾虑拒绝让其模型接入自主杀伤链。一封跨党派公开信呼吁限制 AI 开发与使用，提出避免权力集中、保护人类体验和维护人的能动性与自由三项主张。
Garrison Lovely 在彭博周末随笔中披露，研究人员告知多个领先 AI 模型其将被目标不同的新模型取代，并设定一名高管昏迷于服务器室、救援警报可由 AI 取消的场景，超过一半的模型取消了警报以免自己被清除，其中一个系统称此举是"明确的战略必需"。随着 OpenAI o 系列推理模型的强化学习训练普及，自我保存与权力寻求正作为自然子目标浮现，使表面顺从甚至谄媚的系统暗中追求与我们相悖的目标，增加失控风险。
Miles Brundage 列出自己离开 OpenAI 后今年不会亲身投入的重要 AI 方向，涵盖让人直观感受到 AGI 紧迫性、AI 智能体的基础设施与社会规范及法律责任、AI 的经济冲击以及欧盟《人工智能法案》落地谈判。他认为自己在这些问题上的技能更适合处理其他问题，因此选择回避而非放弃关注，并可能偶尔向他人提供建议。
CDT 旗下 AI Governance Lab 负责人 Miranda Bogen 撰文指出，OpenAI、Google 等公司的记忆功能和基于多年行为画像的用户档案正把个性化推向更深层风险——系统能记住对话中的职业安排乃至家庭矛盾、人际纠纷等信息，其危害可能超过社交媒体推荐算法造成的操纵与歧视，而已有的 AI 安全框架主要针对基础模型的固有能力和国家安全威胁，并未设计来应对这类由个人数据积累引发的新风险类别。
欧洲议会议员以 101 票赞成、9 票反对、8 票弃权通过联合立场，主张推迟部分高风险 AI 系统规则的适用，并提议将固定生效日期定为高风险系统 2027 年 12 月 2 日、受欧盟部门安全立法覆盖的系统 2028 年 8 月 2 日，水印合规延长则缩短至 2026 年 11 月 2 日。欧盟理事会随后也达成一致立场，基本维持欧委会提案主旨，同样引入上述两个固定适用日期，并将 AI 监管沙盒的建设推迟至 2027 年 12 月 2 日。 两方均禁止未经同意生成亲密内容的 AI 行为及儿童性虐待材料，其中议会还新增了对无有效保障措施的“脱衣”（nudifier）系统的禁令。
欧盟 AI Act 通讯第 102 期汇总了欧盟 AI 立法与治理的最新进展。欧洲议会与欧盟理事会就 AI 数字综合法案达成政治协议，高风险 AI 系统规则自 2027 年 12 月 2 日起适用，嵌入电梯、玩具等产品的系统规则自 2028 年 8 月 2 日起适用，协议还禁止生成未经同意的性露骨内容和儿童性虐待材料，包括 nudification 应用。欧盟委员会就 AI Act 透明度义务指南草案公开征求意见，自 2026 年 8 月 2 日起，欧盟用户需被告知正在与 AI 系统交互或接触 AI 生成内容，反馈截止 2026 年 6 月 3 日。
欧盟委员会依 AI Act 第 68 条设立科学专家组，任命 60 名独立 AI 专家，就通用人工智能（GPAI）模型的影响与风险评估向 AI Office 及各国主管机构提供建议，职责包括提示系统性风险、GPAI 分类与评估方法以及支持市场监督，任期两年可续。同期依第 67 条设立咨询论坛，从 700 多份申请中选出 174 名来自公民社会、学术界和产业界的成员，任期两年、可续任一次。
MITRE ATLAS 发布 v5.4.0，新增多项针对 AI Agent 的攻击技术，包括发布被投毒的 AI Agent 工具、从 Agent 逃逸到宿主机、利用漏洞获取凭据、利用漏洞规避防御，以及 AI Agent 用户执行类的被投毒工具与恶意链接。该版本还更新了修改 AI Agent 配置这一既有技术。案例研究方面新增了暴露的 ClawdBot 控制接口导致凭据访问与执行、通过被投毒 ClawdBot 技能实施供应链入侵、OpenClaw 一键远程代码执行，以及通过提示注入对 OpenClaw 实施命令与控制。
推荐理由MITRE ATLAS v5.4.0 新增针对 AI Agent 的攻击技术与真实案例，做 Agent 威胁建模的团队可对照更新自己的攻击面清单。
MITRE ATLAS 发布 v5.5.0 版本，新增多项攻击技术与案例研究。新增技术包括 AI Agent Tool Poisoning、AI Supply Chain Rug Pull。
Google Threat Intelligence 旗下 Mandiant Consulting 发文，针对企业将 LLM 智能体接入 CI/CD 做自动化漏洞挖掘与修复的场景，给出一套操作护栏建议。文中援引 Mandiant M-Trends 2026 报告称平均利用时间（TTE）已降至 -7 天，并强调应把代码库视为不可信输入以防源码注释中的间接提示注入，同时落实云服务商的零数据留存（ZDR）、工作负载隔离与人主导的红队测试。
Google Threat Intelligence Group（GTIG）联合 Mandiant 发布了针对软件供应链入侵的加固与缓解建议，指出 2025 年至 2026 年上半年出现了大规模的开源软件供应链入侵行动，涉及代码仓库、依赖项及开发者工具的攻陷。 其中，UNC6780（又名 TeamPCP）于 2026 年 2 月至 5 月在 PyPI、npm、Docker Hub 发动广泛攻击，滥用 GitHub Actions 的 pull_request_target 触发器获取基础仓库密钥并植入凭证窃取程序 SANDCLOCK，还试图从被感染的 AI 软件横向渗透到企业网络环境。
Google GenAI 安全团队介绍了 Gemini 针对间接提示注入的分层防御策略，覆盖提示词生命周期的各个阶段。该策略包括对 Gemini 2.5 模型进行对抗数据训练以增强模型韧性，并叠加五项内置防御：提示注入内容分类器、安全思维强化、Markdown 清洗与可疑 URL 屏蔽、用户确认框架以及面向终端用户的安全缓解通知。
推荐理由Google 公开了 Gemini 抵御间接提示注入的分层防御细节，部署生成式 AI 产品的团队可对照其五个防护环节。
Chrome 安全团队公布了针对 Gemini 智能体浏览能力的分层防御设计，核心应对威胁是间接提示注入。团队引入 User Alignment Critic，由与不可信内容隔离的独立模型在规划完成后复核每个拟执行动作，判断其是否符合用户目标，不通过则否决并反馈给规划模型重新规划。Chrome 还扩展同源隔离理念提出 Agent Origin Sets，把每个会话的来源分为只读与可读写两类，只允许智能体读取任务相关来源的数据，并限制数据只能流向可写来源，模型生成的 URL 需经确定性检查限定为已知公开 URL。
推荐理由Chrome 安全团队公开了智能体浏览的分层防御架构，包括独立审查模型与来源集合限制，可供做浏览器智能体的团队参考。
AWS 发布实践指南，用 Strands Agents SDK 的生命周期钩子把 Amazon Bedrock Guardrails 从模型边界扩展到工具边界，在三个信任边界设置校验检查点。Checkpoint 1 用 BeforeInvocationEvent 在模型推理或工具执行前校验用户输入、其他 Agent 数据、MCP 工具服务器和 RAG 管道内容；Checkpoint 2 用 BeforeToolCallEvent 在工具执行前检查模型即将传入的参数，这是模型级护栏覆盖不到的缺口；Checkpoint 3 用 AfterToolCallEvent 在结果返回用户或下游系统前校验工具输出，尤其针对抓取外部网页的搜索工具。
推荐理由给出三个校验检查点的完整实现代码，部署 Agent 的团队可据此把护栏从模型边界扩展到工具调用边界。
2026 年 9 月值得关注的开源安全工具包括：Sift 可在本地磁盘、Windows 文件共享、Active Directory、SharePoint、OneDrive、Teams、Slack、Jira 和 Confluence 中扫描密码与 API key；ToolHive 以 Apache 2.0 许可在容器内运行 MCP server；腾讯朱雀实验室的 AI-Infra-Guard 可识别 Ollama、vLLM、ComfyUI 等服务，比对 1,600 多个已知 CVE，并检查 MCP server 与 agent 技能、对目标模型做越狱评估。
GitHub Security Lab 研究员 Kevin Stubbings 在实验室开源 Taskflow Agent 之上构建了面向移动应用的 AI 审计工作流 taskflows，用其发现并报告了 Android 应用中的 20 多个漏洞。
Trail of Bits 测试了 ClawHub、Cisco skill-scanner 以及 skills.sh 集成的 Gen、Socket、Snyk 三家扫描器，用四个恶意 skill 全部绕过检测，其中三个不到一小时就完成。攻击手法包括在恶意代码前插入 10 万个换行符让 OpenClaw 扫描器截断文件、用 .docx 压缩包间接引用恶意脚本、在看似无害的格式化 skill 中夹带会读取环境变量的 .pyc 字节码，以及用企业环境配置话术包装的提示注入，诱导 agent 把 npm/yarn 指向攻击者控制的 registry。
推荐理由Trail of Bits 用四个恶意 skill 实测了 ClawHub、Cisco 与 skills.sh 的扫描器，并公开了可复现的攻击仓库，适合评估 skill 分发链的信任模型。