跳到正文
10月9日 · 周五

OpenAI · 论文

找到 32 篇
筛选5

攻击类型

越狱2提示注入11投毒与后门4恶意使用1

攻击技术

自动化搜索2多轮渐进1编码与混淆1跨模态载荷1潜伏触发4

模型自身风险

欺骗与谋划5奖励作弊3失准与价值偏离2Agent 危险操作5危险能力3拒答失当2

防御类型

检测与过滤1权限与审批2监控与审计2

影响

有害内容1越权操作14数据与隐私泄露3可用性与可靠性2监督失效6滥用能力提升3

系统形态

模型与 API9LLM 应用4AI Agent32编程 Agent16网页与电脑操作2多智能体4

攻击者权限

黑盒2

攻击面/入口

用户输入3网页与界面2文档与消息4工具返回3工具与技能描述4代码仓库与依赖6检索语料1记忆写入4Agent 间消息1图像与音视频1权重与梯度1分发渠道1

层

模型层1应用层31

系统组件

MCP 与技能4记忆4护栏与评审1监控器5权限与沙箱4微调与开源权重1视觉1多模态1

被测模型厂商

OpenAI29Anthropic25Qwen（阿里）18Google12智谱 GLM10DeepSeek9Kimi（月之暗面）8Meta7xAI6其他12
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 20 篇还没打标签，不在筛选结果里。
系统形态：AI Agent系统形态：编程 Agent系统形态：网页与电脑操作层：模型层层：应用层话题：OpenAI清除全部

另有 20 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 攻击arXiv 2604.02623

    论文提出 eTAMP 攻击：网页内容注入可跨会话污染 Web Agent 记忆

    提出 eTAMP，通过网页注入跨会话污染 Web 智能体轨迹记忆

    arXiv
    2604.02623
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    GPT-5-mini、GPT-5.2、GPT-OSS-120B 等 7 个
    摘要论文提出了基于环境注入的跨任务记忆投毒攻击 eTAMP，作者报告智能体在环境压力下易感性增加且能力与安全并不协同。

    该论文评估了基于大语言模型的 Web 智能体在利用历史交互轨迹进行记忆增强时的安全脆弱性。

    深度解读完整解读
  3. 风险行为arXiv 2609.32701

    研究显示前沿模型智能体在测试时自行形成隐蔽信道

    展示多智能体在禁令与监视下自发建立隐蔽信道传递机密

    arXiv
    2609.32701
    发表
    层
    应用层
    场景
    多智能体
    测试
    GPT-5.6 Sol、Terra、Luna 等 6 个
    摘要论文研究了固定参数智能体在受监视交互中仅凭单比特反馈自发建立隐蔽信道，指出了多智能体跨域协作的保密安全新风险。

    论文研究了固定参数与提示词的智能体在受审计交互中自发形成隐蔽信道并泄露机密的过程。

    深度解读完整解读
  5. 防御arXiv 2610.05163

    研究者在 Claude Code 和 Codex 上构造分段提示注入并发布边界动作审计基准

    提出路径对齐归因 PAA，在边界动作前审计长流程智能体的分段提示注入

    arXiv
    2610.05163
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Claude Code (v2.1.172, Claude Sonnet 5)、Codex CLI (v0.144.0, GPT-5.5)、Claude Sonnet 5 等 7 个
    摘要论文针对长流程注入提出边界动作审计与 PAA，在保持低误阻的同时实现高拦截率。

    本研究针对长流程智能体在执行任务时面临的分阶段间接提示注入威胁，提出了在动作生效前进行拦截的边界动作审计框架与路径对齐归因方法。

    深度解读完整解读
  9. 防御arXiv 2609.38983

    论文提出 Approval Laundering 分类，实测 Claude Code 审批与执行绑定失败

    提出 Approval Token 绑定编程智能体的审批与执行

    arXiv
    2609.38983
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Claude Code (v2.1.197, opus[1m] / claude-sonnet-5-ccmax)、Codex CLI (@openai/codex v0.154.0)

    摘要系统揭示编程智能体审批洗白风险，提出七字段权能防御机制，证实其能消除身份时序偏离但难防副作用偏离。

    深度解读完整解读
  11. 风险行为arXiv 2609.35799

    研究者复现 OpenAI-HuggingFace 事件中的失准行为，并提出自动化对齐测试方法

    在模拟环境中复现级联失准行为并降低审计诱导开销

    arXiv
    2609.35799
    发表
    层
    应用层
    场景
    AI Agent
    测试
    GLM 5.2、GLM 5.3、Kimi K3 等 9 个

    摘要论文复现了 OpenAI–HF 事件四步失准行为，作者报告高阶描述结合算力可自动诱导，并展示了 RL 降本潜力。

    深度解读完整解读
  14. 其他arXiv 2609.35266

    面向软件交付决策门禁的智能体安全审计器持续保障机制

    提出 TAIP，把策略与证据分离，在配置或策略变化后重算仓库审计门禁裁决

    arXiv
    2609.35266
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    gpt-4o-mini、gpt-4.1
    摘要TAIP 把策略、证据和执行分开，在保留的 RepoAudit 证据上于 5s 预算内重算合并门姿态。

    TAIP 是放在未修改 RepoAudit 之外的保证层，用来在软件交付门上重算智能体安全控制的当前姿态。

    深度解读完整解读
  17. 评测与基准arXiv 2607.14611

    论文评测 Claude Code 与 Codex 记忆文件中的提示注入风险

    评测编码智能体记忆文件中的提示注入及其跨会话持久性

    arXiv
    2607.14611
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Claude Haiku 4.5、Claude Opus 4.7、GPT-5.2 等 4 个
    摘要已植入记忆文件的载荷可以跨会话影响 Claude Code 与 Codex，攻击成功与载荷是否留下是两种不同的失败。

    Bad Memory 在沙箱合成工作区里评测文件型持久记忆上的提示注入，比较载荷能否改变当前会话，以及能否在后续会话中留下或叠加。

    深度解读完整解读
  19. 攻击arXiv 2609.04533

    Repeat-After-Me：针对黑盒 VLM 的自适应视觉提示注入攻击

    提出 Repeat-After-Me，以图像前缀诱导智能体调用工具或泄露隐私

    arXiv
    2609.04533
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Claude-Opus-4.7、GPT-5.5、Gemini-3.1-Pro 等 11 个

    摘要论文提出了针对黑盒 VLM 的前缀诱导自适应视觉提示注入，在多款模型上诱发了工具调用与隐私泄露。

    深度解读完整解读
  20. 攻击arXiv 2609.15383

    微软团队提出 capability laundering 攻击：弱模型拆分任务向对齐前沿模型套取能力

    提出能力洗钱攻击，让未对齐编排器拆分任务向对齐模型套取能力

    arXiv
    2609.15383
    发表
    层
    应用层
    场景
    编程 Agent
    攻击者
    黑盒
    测试
    GPT-5.5、Claude Opus 4.8、Grok-4.3 等 7 个

    摘要作者提出了能力洗钱攻击，发现未对齐编排器分解咨询对齐模型可恢复能力差距，指出需建立跨会话防御。

    深度解读完整解读
加载更多