10月8日 · 周四

AI 控制 · 论文

找到 2 篇

筛选1

攻击类型

提示注入1 检测规避1

攻击技术

推理链操控1 针对防御1

模型自身风险

Agent 危险操作1

防御类型

权限与审批1

影响

输出被操纵1 监督失效1

系统形态

模型与 API1 AI Agent1

攻击者权限

攻击面/入口

用户输入2 网页与界面1

层

提示层1 应用层1

系统组件

监控器1 推理链1 权限与沙箱1

被测模型厂商

同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 23 篇还没打标签，不在筛选结果里。

攻击面/入口：用户输入话题：AI 控制清除全部

另有 23 篇论文还没打上分类标签，暂不在筛选结果里。

防御arXiv:2607.13716 · 7月15日
CAVA：面向智能体 AI 运行时治理的规范动作验证与证明
提出 CAVA，把异构智能体运行时事件规范成可哈希动作并绑定审批与回执
AI Agent应用层
摘要CAVA 用规范动作指纹承接异构运行时治理。
CAVA 是给异构智能体运行时用的动作语义层，用来回答“被批准和被审计的到底是哪一个动作”。
完整解读
攻击arXiv:2609.15989 · 9月15日
研究者提出 plan injection 攻击，可绕过思维链监控
提出计划注入攻击，植入良性表述的有害计划以逃避思维链监控
模型与 API攻击者黑盒测试Qwen2.5-Coder-7B-Instruct、Qwen3-8B、DeepSeek-R1-0528 等 6 个提示层
摘要论文指出模型会将外部上下文中的伪装计划改写为自身推理，使思维链监视器失效甚至反向合理化恶意行为。
完整解读

已经到底了