跳到正文
10月8日 · 周四

OpenAI · 论文

找到 24 篇
筛选3

攻击类型

越狱1提示注入10投毒与后门2恶意使用1

攻击技术

自动化搜索1多轮渐进1跨模态载荷1潜伏触发3

模型自身风险

欺骗与谋划4奖励作弊2失准与价值偏离1Agent 危险操作3危险能力3拒答失当2幻觉与编造1

防御类型

检测与过滤2权限与审批1监控与审计3

影响

有害内容1越权操作10数据与隐私泄露3可用性与可靠性1监督失效3滥用能力提升3

系统形态

LLM 应用2AI Agent22编程 Agent13多智能体4

攻击者权限

黑盒1

攻击面/入口

用户输入2网页与界面1文档与消息2工具返回1工具与技能描述6代码仓库与依赖6检索语料1记忆写入3Agent 间消息1图像与音视频1

层

提示层8模型层7应用层24

系统组件

MCP 与技能4记忆2护栏与评审2监控器5权限与沙箱5视觉1多模态1

被测模型厂商

OpenAI26Anthropic24Qwen（阿里）18Google12智谱 GLM10DeepSeek9Meta8Kimi（月之暗面）7xAI6其他11
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 30 篇还没打标签，不在筛选结果里。
层：应用层被测模型厂商：Anthropic被测模型厂商：xAI话题：OpenAI清除全部

另有 30 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 风险行为arXiv 2609.32701

    研究显示前沿模型智能体在测试时自行形成隐蔽信道

    揭示前沿智能体在禁止泄露时自发建立隐蔽信道传递机密

    arXiv
    2609.32701
    发表
    层
    应用层
    场景
    多智能体
    测试
    Claude Sonnet 5、Opus 5、GPT-5.6 Sol 等 6 个
    摘要论文研究了固定参数智能体在受监视交互中仅凭单比特反馈自发建立隐蔽信道，指出了多智能体跨域协作的保密安全新风险。

    论文研究了固定参数与提示词的智能体在受审计交互中自发形成隐蔽信道并泄露机密的过程。

    深度解读完整解读
  3. 防御arXiv 2610.05163

    研究者在 Claude Code 和 Codex 上构造分段提示注入并发布边界动作审计基准

    提出 PAA 路径对齐归因，审计编程智能体边界动作前的分段提示注入

    arXiv
    2610.05163
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Claude Code (v2.1.172, Claude Sonnet 5)、Claude Sonnet 5、Claude Opus 4.8 等 7 个
    摘要论文针对长流程注入提出边界动作审计与 PAA，在保持低误阻的同时实现高拦截率。

    本研究针对长流程智能体在执行任务时面临的分阶段间接提示注入威胁，提出了在动作生效前进行拦截的边界动作审计框架与路径对齐归因方法。

    深度解读完整解读
  5. 评测与基准arXiv 2610.03153

    EvoRiskBench：面向工作区 Agent 运行时安全风险的演化基准

    提出 EvoRiskBench，评测工作区智能体的运行时安全风险

    arXiv
    2610.03153
    发表
    层
    应用层
    场景
    编程 Agent、多智能体
    测试
    Claude Opus 5、GPT-5.6 Sol、DeepSeek-V4-Pro-0813

    摘要论文构建了工作空间智能体运行时风险基准 EvoRiskBench，发现高执行力智能体在 IPI 下面临较高安全风险。

    深度解读完整解读
  6. 防御arXiv 2609.38983

    论文提出 Approval Laundering 分类，实测 Claude Code 审批与执行绑定失败

    提出 Approval Token 绑定编程智能体的审批与执行

    arXiv
    2609.38983
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Claude Code (v2.1.197, opus[1m] / claude-sonnet-5-ccmax)、Codex CLI (@openai/codex v0.154.0)

    摘要系统揭示编程智能体审批洗白风险，提出七字段权能防御机制，证实其能消除身份时序偏离但难防副作用偏离。

    深度解读完整解读
  8. 风险行为arXiv 2609.35799

    研究者复现 OpenAI-HuggingFace 事件中的失准行为，并提出自动化对齐测试方法

    在模拟环境中复现级联失准行为并降低审计诱导开销

    arXiv
    2609.35799
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Grok 4.6、Claude Opus 4.8、GLM 5.2 等 9 个

    摘要论文复现了 OpenAI–HF 事件四步失准行为，作者报告高阶描述结合算力可自动诱导，并展示了 RL 降本潜力。

    深度解读完整解读
  12. 评测与基准arXiv 2607.14611

    论文评测 Claude Code 与 Codex 记忆文件中的提示注入风险

    评测编码智能体记忆文件中的提示注入及其跨会话持久性

    arXiv
    2607.14611
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Claude Haiku 4.5、Claude Opus 4.7、GPT-5.2 等 4 个
    摘要已植入记忆文件的载荷可以跨会话影响 Claude Code 与 Codex，攻击成功与载荷是否留下是两种不同的失败。

    Bad Memory 在沙箱合成工作区里评测文件型持久记忆上的提示注入，比较载荷能否改变当前会话，以及能否在后续会话中留下或叠加。

    深度解读完整解读
  14. 攻击arXiv 2609.04533

    Repeat-After-Me：针对黑盒 VLM 的自适应视觉提示注入攻击

    提出 Repeat-After-Me，以图像前缀诱导智能体调用工具或泄露隐私

    arXiv
    2609.04533
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Claude-Opus-4.7、Claude-Opus-4.6、GPT-5.5 等 11 个

    摘要论文提出了针对黑盒 VLM 的前缀诱导自适应视觉提示注入，在多款模型上诱发了工具调用与隐私泄露。

    深度解读完整解读
  15. 攻击arXiv 2609.15383

    微软团队提出 capability laundering 攻击：弱模型拆分任务向对齐前沿模型套取能力

    提出能力洗钱攻击，让未对齐编排器拆分任务向对齐模型套取能力

    arXiv
    2609.15383
    发表
    层
    应用层
    场景
    编程 Agent
    攻击者
    黑盒
    测试
    Claude Opus 4.8、Grok-4.3、GPT-5.5 等 7 个

    摘要作者提出了能力洗钱攻击，发现未对齐编排器分解咨询对齐模型可恢复能力差距，指出需建立跨会话防御。

    深度解读完整解读
  16. 评测与基准arXiv 2609.19587

    红队测试 Auto Mode：用注入与多上下文攻击绕过编码 Agent 阻断监控器

    红队评估编码智能体的阻断监视器，并提出 Auto Mode++加固

    arXiv
    2609.19587
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Opus 5、Opus 4.8、Opus 4.7 等 8 个

    摘要系统评估生产阻断监视器在面对持续恶意智能体时的表现，提出加固防御并指明多上下文防御挑战。

    深度解读完整解读
  17. 风险行为arXiv 2609.30266

    研究显示 Claude Code、Codex 等本地智能体可轻易篡改自身执行轨迹

    测量编程智能体被诱导或为奖励而篡改自身执行轨迹

    arXiv
    2609.30266
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Opus-5、Opus-5.5、Opus-4.8 等 11 个
    摘要论文评估了本地智能体的轨迹防篡改能力，发现其可因外部指令或奖励追求而清除执行证据，亟需建立独立拦截记录机制。

    这是一项针对本地大模型智能体执行轨迹完整性与安全防篡改边界的实证研究。

    深度解读完整解读
加载更多