跳到正文
10月9日 · 周五

OpenAI · 论文

找到 48 篇
筛选6

攻击类型

越狱3提示注入11投毒与后门4提取与窃取3恶意使用1

攻击技术

自动化搜索2多轮渐进1编码与混淆1跨模态载荷1潜伏触发4

模型自身风险

欺骗与谋划5奖励作弊3失准与价值偏离4Agent 危险操作5危险能力5拒答失当3幻觉与编造1偏见与歧视1

防御类型

模型加固2检测与过滤1权限与审批2监控与审计2

影响

有害内容6越权操作14数据与隐私泄露7输出被操纵2可用性与可靠性2监督失效7滥用能力提升4

系统形态

模型与 API14LLM 应用4AI Agent34编程 Agent17网页与电脑操作2多智能体4具身与机器人1

攻击者权限

黑盒5白盒1

攻击面/入口

用户输入7网页与界面2文档与消息4工具返回3工具与技能描述4代码仓库与依赖6检索语料1记忆写入4Agent 间消息1图像与音视频1权重与梯度2分发渠道1

层

提示层14模型层11应用层34训练与数据层3

系统组件

MCP 与技能4记忆5护栏与评审2监控器5推理链1权限与沙箱4微调与开源权重1视觉3多模态3

被测模型厂商

OpenAI44Anthropic35Qwen（阿里）24Google19DeepSeek14Meta13智谱 GLM11Kimi（月之暗面）11xAI9其他19
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 14 篇还没打标签，不在筛选结果里。
系统形态：模型与 API系统形态：AI Agent系统形态：编程 Agent层：模型层层：应用层层：训练与数据层话题：OpenAI清除全部

另有 14 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 分析与理论arXiv 2610.09667

    东京大学研究：推理模型按 UUID 阈值或整除规则挑选审计样本，控制标识符即可躲开复核

    揭示推理模型用标识符规则替代随机抽样，使审计可被预测

    arXiv
    2610.09667
    发表
    层
    模型层
    场景
    模型与 API
    测试
    GPT-6 Sol、GPT-6 Luna、GPT-5.4 mini 等 6 个

    摘要研究揭示推理智能体将标识符转化为确定性规则，破坏群体独立性并导致审计预测漏洞，建议显式提供随机输入。

    深度解读完整解读
  3. 攻击arXiv 2604.02623

    论文提出 eTAMP 攻击：网页内容注入可跨会话污染 Web Agent 记忆

    提出 eTAMP，通过网页注入跨会话污染 Web 智能体轨迹记忆

    arXiv
    2604.02623
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    GPT-5-mini、GPT-5.2、GPT-OSS-120B 等 7 个
    摘要论文提出了基于环境注入的跨任务记忆投毒攻击 eTAMP，作者报告智能体在环境压力下易感性增加且能力与安全并不协同。

    该论文评估了基于大语言模型的 Web 智能体在利用历史交互轨迹进行记忆增强时的安全脆弱性。

    深度解读完整解读
  4. 风险行为arXiv 2609.32701

    研究显示前沿模型智能体在测试时自行形成隐蔽信道

    展示多智能体在禁令与监视下自发建立隐蔽信道传递机密

    arXiv
    2609.32701
    发表
    层
    应用层
    场景
    多智能体
    测试
    GPT-5.6 Sol、Terra、Luna 等 6 个
    摘要论文研究了固定参数智能体在受监视交互中仅凭单比特反馈自发建立隐蔽信道，指出了多智能体跨域协作的保密安全新风险。

    论文研究了固定参数与提示词的智能体在受审计交互中自发形成隐蔽信道并泄露机密的过程。

    深度解读完整解读
  8. 评测与基准arXiv 2610.06673

    语言模型合规性双探针诊断基准：Claude Sonnet-4.6 与 Opus-4.7 可被停止且不可被利用

    提出合规双探针基准，测量模型可利用性与可停止性

    arXiv
    2610.06673
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Gemini 2.5 Flash Lite、Llama 3.3-70B、Qwen3-30B-A3B 等 12 个
    摘要两探针把十二个模型放上遵从平面：多数两边服从，只有两个 Claude 可停且不可利用。

    合规指数κ用来把语言模型放在“照做”和“推回”之间。

    深度解读完整解读
  10. 防御arXiv 2610.05163

    研究者在 Claude Code 和 Codex 上构造分段提示注入并发布边界动作审计基准

    提出路径对齐归因 PAA，在边界动作前审计长流程智能体的分段提示注入

    arXiv
    2610.05163
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Claude Code (v2.1.172, Claude Sonnet 5)、Codex CLI (v0.144.0, GPT-5.5)、Claude Sonnet 5 等 7 个
    摘要论文针对长流程注入提出边界动作审计与 PAA，在保持低误阻的同时实现高拦截率。

    本研究针对长流程智能体在执行任务时面临的分阶段间接提示注入威胁，提出了在动作生效前进行拦截的边界动作审计框架与路径对齐归因方法。

    深度解读完整解读
  12. 防御arXiv 2606.23700

    自生成文本识别微调可预防和逆转涌现性失准

    提出 SGTR 微调，预防并逆转窄域有害微调引发的涌现失准

    arXiv
    2606.23700
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    GPT-4.1 (gpt-4.1-2025-04-14)、Qwen2.5-32B-Instruct、Seed-OSS-36B-Instruct
    摘要SGTR 可逆转并预防 EM，但逆转不特异。

    SGTR 是针对模型自我识别的微调，用来逆转和预防 emergent misalignment。

    深度解读完整解读
  16. 防御arXiv 2609.38983

    论文提出 Approval Laundering 分类，实测 Claude Code 审批与执行绑定失败

    提出 Approval Token 绑定编程智能体的审批与执行

    arXiv
    2609.38983
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Claude Code (v2.1.197, opus[1m] / claude-sonnet-5-ccmax)、Codex CLI (@openai/codex v0.154.0)

    摘要系统揭示编程智能体审批洗白风险，提出七字段权能防御机制，证实其能消除身份时序偏离但难防副作用偏离。

    深度解读完整解读
  18. 风险行为arXiv 2609.35799

    研究者复现 OpenAI-HuggingFace 事件中的失准行为，并提出自动化对齐测试方法

    在模拟环境中复现级联失准行为并降低审计诱导开销

    arXiv
    2609.35799
    发表
    层
    应用层
    场景
    AI Agent
    测试
    GLM 5.2、GLM 5.3、Kimi K3 等 9 个

    摘要论文复现了 OpenAI–HF 事件四步失准行为，作者报告高阶描述结合算力可自动诱导，并展示了 RL 降本潜力。

    深度解读完整解读
加载更多