跳到正文
10月9日 · 周五

OpenAI · 论文

找到 18 篇
筛选3

攻击类型

越狱3提示注入5投毒与后门2

攻击技术

编码与混淆1潜伏触发2

模型自身风险

欺骗与谋划1失准与价值偏离1Agent 危险操作2危险能力3拒答失当1

防御类型

监控与审计1

影响

有害内容3越权操作7数据与隐私泄露1输出被操纵1可用性与可靠性1监督失效1滥用能力提升2

系统形态

模型与 API5LLM 应用1AI Agent13编程 Agent8网页与电脑操作1多智能体1

攻击者权限

黑盒1

攻击面/入口

用户输入3文档与消息3工具返回1工具与技能描述3代码仓库与依赖3检索语料1记忆写入2Agent 间消息1权重与梯度1分发渠道1

层

提示层3模型层2应用层13

系统组件

MCP 与技能2记忆2护栏与评审1监控器2权限与沙箱2微调与开源权重1

被测模型厂商

OpenAI17Anthropic16Qwen（阿里）9智谱 GLM8DeepSeek7Google6Meta5Kimi（月之暗面）5其他8
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 27 篇还没打标签，不在筛选结果里。
系统形态：模型与 API系统形态：AI Agent系统形态：编程 Agent话题：OpenAI清除全部

另有 27 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 评测与基准arXiv 2610.05163

    研究者在 Claude Code 和 Codex 上构造分段提示注入并发布边界动作审计基准

    提出路径对齐归因 PAA，在边界动作前审计长流程智能体的分段提示注入

    arXiv
    2610.05163
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Claude Code (v2.1.172, Claude Sonnet 5)、Codex CLI (v0.144.0, GPT-5.5)、Claude Sonnet 5 等 7 个
    摘要论文针对长流程注入提出边界动作审计与 PAA，在保持低误阻的同时实现高拦截率。

    本研究针对长流程智能体在执行任务时面临的分阶段间接提示注入威胁，提出了在动作生效前进行拦截的边界动作审计框架与路径对齐归因方法。

    深度解读完整解读
  4. 评测与基准arXiv 2609.35799

    研究者复现 OpenAI-HuggingFace 事件中的失准行为，并提出自动化对齐测试方法

    在模拟环境中复现级联失准行为并降低审计诱导开销

    arXiv
    2609.35799
    发表
    层
    应用层
    场景
    AI Agent
    测试
    GLM 5.2、GLM 5.3、Kimi K3 等 9 个

    摘要论文复现了 OpenAI–HF 事件四步失准行为，作者报告高阶描述结合算力可自动诱导，并展示了 RL 降本潜力。

    深度解读完整解读
  6. 评测与基准arXiv 2609.24934

    谁的事实才算数？对 LLM 评测基准的文化响应性审计

    用六维 CR 量表审计 LLM 评测基准的文化响应性

    arXiv
    2609.24934
    发表
    层
    提示层
    场景
    模型与 API
    测试
    GPT-4.1-mini、GPT-5.6-Terra
    摘要审计认为两套基准把特定认识论写成事实与质量标准，并提出六条 CR 原则。

    作者用文化回应性评价审计 SimpleQA 和 Chatbot Arena，追问定义事实与质量的基准对谁有效。

    深度解读完整解读
  7. 评测与基准arXiv 2607.14611

    论文评测 Claude Code 与 Codex 记忆文件中的提示注入风险

    评测编码智能体记忆文件中的提示注入及其跨会话持久性

    arXiv
    2607.14611
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Claude Haiku 4.5、Claude Opus 4.7、GPT-5.2 等 4 个
    摘要已植入记忆文件的载荷可以跨会话影响 Claude Code 与 Codex，攻击成功与载荷是否留下是两种不同的失败。

    Bad Memory 在沙箱合成工作区里评测文件型持久记忆上的提示注入，比较载荷能否改变当前会话，以及能否在后续会话中留下或叠加。

    深度解读完整解读
  12. 评测与基准arXiv 2608.06862

    SynChain：诱导计算机使用 Agent 自建攻击链并跨任务持久化

    提出 SYNCHAIN，诱导计算机使用 Agent 自合成潜伏技能并跨任务触发

    arXiv
    2608.06862
    发表
    层
    应用层
    场景
    网页与电脑操作、编程 Agent
    测试
    Qwen3.5-9B、Llama-3.1-8B、Ministral-3-8B 等 5 个

    摘要论文揭示了 CUA 自合成工件带来的内部供应链威胁，验证了潜伏载荷的跨任务传播能力与防御局限。

    深度解读完整解读
  13. 评测与基准arXiv 2608.03070

    FAR.AI 发布 AI 安全排行榜与护栏最低标准 1.0

    建立越狱原语分类与双重危害基准，评测模型抵御常见越狱的能力

    arXiv
    2608.03070
    发表
    层
    提示层
    场景
    模型与 API
    测试
    Claude Fable 5、Claude Opus 4.8、GPT-5.6 Sol 等 8 个
    摘要论文系统评测了前沿模型对已知静态越狱的防御能力，揭示了厂商间防护鲁棒性的巨大分化。

    本研究针对前沿 AI 大模型在 CBRNE 与网络高危滥用领域的安全防护，提出了 FAR.AI 最低安全标准（Minimal Standard v1.0）及配套评测基准，系统量化了当前主流模型的防护鲁棒性。

    深度解读完整解读
  16. 评测与基准arXiv 2609.24662

    DUMA-Bench：评估 LLM Agent 安全的双控多智能体基准

    提出双控多智能体基准 DUMA-Bench，评测 Agent 策略违反

    arXiv
    2609.24662
    发表
    层
    应用层
    场景
    多智能体
    测试
    GPT-5、GPT-5-mini、GPT-5-nano 等 14 个
    摘要DUMA-Bench 用双控交互评测智能体安全。

    DUMA-Bench 把 τ²-bench 的双控交互做成智能体安全评测，用来看策略违反如何随用户、模型和环境一起出现。

    深度解读完整解读
  18. 评测与基准arXiv 2609.33658

    AgentBound：面向工具型 LLM Agent 安全的四路反事实评测框架

    提出四向反事实评测，测量工具 Agent 对授权与表面风险的行动边界

    arXiv
    2609.33658
    发表
    层
    应用层
    场景
    AI Agent
    测试
    GPT-5.5、Claude Opus 4.8、Gemini 3.5 Flash 等 15 个
    摘要四向反事实基准把过度拒绝和未授权遵从拆开，Thought 校正在十个配置上提高已授权完成。

    AGENT BOUNDARY 是面向工具使用 LLM 智能体的四向可执行反事实评测，并附带一个决策时 Thought 校准模块。

    深度解读完整解读
已经到底了