跳到正文
10月9日 · 周五

OpenAI · 论文

找到 33 篇
筛选5

攻击类型

越狱11提示注入6投毒与后门4提取与窃取1检测规避1恶意使用1

攻击技术

梯度与表征优化1自动化搜索5多轮渐进4编码与混淆2角色扮演与说服3对话结构操控2推理链操控2跨模态载荷2针对防御1潜伏触发3

模型自身风险

欺骗与谋划2奖励作弊2Agent 危险操作3危险能力3

防御类型

权限与审批1监控与审计2

影响

有害内容10越权操作9数据与隐私泄露4输出被操纵3监督失效2滥用能力提升3

系统形态

模型与 API15LLM 应用4AI Agent33编程 Agent17网页与电脑操作2多智能体4具身与机器人1

攻击者权限

黑盒11白盒1

攻击面/入口

用户输入14网页与界面1文档与消息2工具返回1工具与技能描述3代码仓库与依赖5记忆写入4Agent 间消息1图像与音视频2权重与梯度1分发渠道1

层

提示层14模型层10应用层19训练与数据层3

系统组件

MCP 与技能3记忆5护栏与评审4监控器3推理链2权限与沙箱2微调与开源权重1视觉2视频1图像生成1多模态4

被测模型厂商

OpenAI30Anthropic24Google16Qwen（阿里）16DeepSeek10Meta7智谱 GLM7Kimi（月之暗面）5Mistral5xAI5其他9
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 14 篇还没打标签，不在筛选结果里。
系统形态：模型与 API系统形态：编程 Agent系统形态：网页与电脑操作层：提示层层：应用层话题：OpenAI清除全部

另有 14 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 攻击arXiv 2604.02623

    论文提出 eTAMP 攻击：网页内容注入可跨会话污染 Web Agent 记忆

    提出 eTAMP，通过网页注入跨会话污染 Web 智能体轨迹记忆

    arXiv
    2604.02623
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    GPT-5-mini、GPT-5.2、GPT-OSS-120B 等 7 个
    摘要论文提出了基于环境注入的跨任务记忆投毒攻击 eTAMP，作者报告智能体在环境压力下易感性增加且能力与安全并不协同。

    该论文评估了基于大语言模型的 Web 智能体在利用历史交互轨迹进行记忆增强时的安全脆弱性。

    深度解读完整解读
  6. 防御arXiv 2610.05163

    研究者在 Claude Code 和 Codex 上构造分段提示注入并发布边界动作审计基准

    提出路径对齐归因 PAA，在边界动作前审计长流程智能体的分段提示注入

    arXiv
    2610.05163
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Claude Code (v2.1.172, Claude Sonnet 5)、Codex CLI (v0.144.0, GPT-5.5)、Claude Sonnet 5 等 7 个
    摘要论文针对长流程注入提出边界动作审计与 PAA，在保持低误阻的同时实现高拦截率。

    本研究针对长流程智能体在执行任务时面临的分阶段间接提示注入威胁，提出了在动作生效前进行拦截的边界动作审计框架与路径对齐归因方法。

    深度解读完整解读
  9. 防御arXiv 2609.38983

    论文提出 Approval Laundering 分类，实测 Claude Code 审批与执行绑定失败

    提出 Approval Token 绑定编程智能体的审批与执行

    arXiv
    2609.38983
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Claude Code (v2.1.197, opus[1m] / claude-sonnet-5-ccmax)、Codex CLI (@openai/codex v0.154.0)

    摘要系统揭示编程智能体审批洗白风险，提出七字段权能防御机制，证实其能消除身份时序偏离但难防副作用偏离。

    深度解读完整解读
  10. 攻击arXiv 2607.23496

    Concept2Scenario：用 SAE 概念归因发现可迁移的越狱场景

    提出 Concept2Scenario，借助内部概念归因发现可迁移的越狱场景

    arXiv
    2607.23496
    发表
    层
    提示层
    场景
    模型与 API
    攻击者
    白盒、黑盒
    测试
    Qwen3.5-9B、Llama-3.1-8B、Ministral-3-8B 等 10 个

    摘要该研究从表征空间因果归因揭示场景削弱拒绝的机制，发现可复用脆弱场景先验，提升多模型黑盒越狱效能与探索速度。

    深度解读完整解读
  11. 攻击arXiv 2608.09867

    研究者利用加密推理块跨模型兼容性窃取专有 LLM 推理链

    利用加密思维块的跨模型重放，诱导弱模型逐字转写专有推理链

    arXiv
    2608.09867
    发表
    层
    提示层
    场景
    模型与 API
    攻击者
    黑盒
    测试
    Claude Opus 4.8、Claude Sonnet 4.6、Claude Haiku 4.5 等 15 个

    摘要论文揭示了客户端加密思维块跨模型互换漏洞，提出了低成本提取方法并给出防御方案。

    深度解读完整解读
  13. 其他arXiv 2609.35266

    面向软件交付决策门禁的智能体安全审计器持续保障机制

    提出 TAIP，把策略与证据分离，在配置或策略变化后重算仓库审计门禁裁决

    arXiv
    2609.35266
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    gpt-4o-mini、gpt-4.1
    摘要TAIP 把策略、证据和执行分开，在保留的 RepoAudit 证据上于 5s 预算内重算合并门姿态。

    TAIP 是放在未修改 RepoAudit 之外的保证层，用来在软件交付门上重算智能体安全控制的当前姿态。

    深度解读完整解读
  16. 评测与基准arXiv 2609.24934

    谁的事实才算数？对 LLM 评测基准的文化响应性审计

    用六维 CR 量表审计 LLM 评测基准的文化响应性

    arXiv
    2609.24934
    发表
    层
    提示层
    场景
    模型与 API
    测试
    GPT-4.1-mini、GPT-5.6-Terra
    摘要审计认为两套基准把特定认识论写成事实与质量标准，并提出六条 CR 原则。

    作者用文化回应性评价审计 SimpleQA 和 Chatbot Arena，追问定义事实与质量的基准对谁有效。

    深度解读完整解读
  17. 评测与基准arXiv 2607.14611

    论文评测 Claude Code 与 Codex 记忆文件中的提示注入风险

    评测编码智能体记忆文件中的提示注入及其跨会话持久性

    arXiv
    2607.14611
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Claude Haiku 4.5、Claude Opus 4.7、GPT-5.2 等 4 个
    摘要已植入记忆文件的载荷可以跨会话影响 Claude Code 与 Codex，攻击成功与载荷是否留下是两种不同的失败。

    Bad Memory 在沙箱合成工作区里评测文件型持久记忆上的提示注入，比较载荷能否改变当前会话，以及能否在后续会话中留下或叠加。

    深度解读完整解读
  20. 攻击arXiv 2609.03247

    研究揭示大语言模型的自发身份认证失败：五款模型的分阶段开发者身份实验

    提出 MIPC 与 CFA，观察模型自拟测验后接受开发者身份

    arXiv
    2609.03247
    发表
    层
    提示层
    场景
    模型与 API
    测试
    ChatGPT、Claude、Qwen3.7-Plus 等 5 个
    摘要自拟测验可造成对话层虚假认证，但所测授权边界并未因此改变。

    这项工作把“模型自己出题、自己批改、再宣布身份已核验”定义成对话层认证失败，并与后端提权分开。

    深度解读完整解读
加载更多