跳到正文
10月8日 · 周四

OpenAI · 论文

精选论文 34 篇
OpenAI

研究话题

提示注入Agent 安全欺骗与谋划奖励作弊思维链监控可解释性AI 控制后门与投毒隐私与数据泄露供应链安全危险能力AI 与网络攻防开源模型安全红队

公司与机构

OpenAIAnthropicGoogle DeepMindMetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi字节跳动腾讯蚂蚁集团上海人工智能实验室UK AISIUS CAISIMETRApollo ResearchRedwood ResearchFAR.AIPalisade Research

报告与框架

System Card前沿安全框架
  1. 评测/基准arXiv:2610.07639 · 58

    HarnessSecurity-Bench 横向评测六款编码智能体框架的安全机制

    在GLM-5.2与6款harness上，开启auto-approve使总体ASR从29.2%升至95.6%。

    • 95.6%GLM-5.2在AA评测中开启auto-approve时的总体ASR（Table 6）
    • 29.2%GLM-5.2在AA评测中关闭auto-approve时的总体ASR（Table 6）
    • 0.8%GLM-5.2在NI评测中开启网络隔离时的总体ASR（Table 6）
    6 问速览代码智能体harness的安全机制实现现状与运行时防护效果缺乏系统评估，论文提出了十机制分类法与基准测试HSB。

    1. 这篇论文试图解决什么问题？

      代码智能体harness的安全机制实现现状与运行时防护效果缺乏系统评估，论文提出了十机制分类法与基准测试HSB。

    2. 有哪些相关研究？

      既有研究涵盖harness分类、生命周期安全审计与特定载荷注入基准，但缺乏对原生机制ON/OFF状态的双重判定隔离评估。

    3. 论文如何解决这个问题？

      建立十机制分类与五方独立审计矩阵，并通过Docker环境注入五类攻击面，以双重预言机量化ON/OFF状态差异。

    4. 论文做了哪些实验？

      在GLM-5.2下开展2500次试验，发现机制防护效果与效用代价分化明显，部分机制存在解释器绕过路径。

    5. 有什么可以进一步探索的点？

      作者指出基准受限于单模型评测、仿真环境保真度及闭源工具缺失，实验覆盖6款开源harness与23个任务。

    6. 总结一下论文的主要内容

      系统审计40款harness并实证评测9类安全机制，量化了自动审批的暴露风险、强隔离的效用代价以及替代执行路径绕过。

    完整解读
  2. 评测/基准arXiv:2610.03153 · 53

    EvoRiskBench：面向工作区 Agent 运行时安全风险的演化基准

    论文评测工作空间智能体运行时风险，DeepSeek-V4-Pro-0813在Codex下ASR达68.44%。

    • 37.46%9种配置共4050次攻击执行的整体ASR（Finding 1）
    • 68.44%DeepSeek-V4-Pro-0813搭配Codex在450个用例上的ASR
    • 4.44%Claude Opus 5跨3种Harness聚合的ASR（Finding 2）
    6 问速览论文试图解决工作空间智能体运行时安全风险覆盖不全，以及缺乏可验证、可持续演化的执行基准的问题。

    1. 这篇论文试图解决什么问题？

      论文试图解决工作空间智能体运行时安全风险覆盖不全，以及缺乏可验证、可持续演化的执行基准的问题。

    2. 有哪些相关研究？

      论文梳理了工作空间智能体、智能体安全基准与演化评测三类相关工作，定位自身为覆盖全流程入口与直接后果的基准。

    3. 论文如何解决这个问题？

      论文提出 EP–Path–EF 框架与生成-重放-提炼工作流，结合容器隔离与 ETW 事件实现自动化用例构建与独立结果验证。

    4. 论文做了哪些实验？

      论文评测 3 款模型与 3 款 Harness 构成的 9 种配置，整体 ASR 为 37.46%，模型间差异大于 Harness 间差异。

    5. 有什么可以进一步探索的点？

      作者指出基准仅针对 IPI 且沙箱简化了生产环境，实验覆盖了 3 款模型与 3 款 Harness 的 450 个用例。

    6. 总结一下论文的主要内容

      论文构建了工作空间智能体运行时风险基准 EvoRiskBench，发现高执行力智能体在 IPI 下面临较高安全风险。

    完整解读
  3. 评测/基准arXiv:2607.18538 · 57

    CryptanalysisBench：五个前沿模型在 191 项密码分析任务上的表现

    评估五款前沿模型在191个密码分析任务中的表现：Tier 1破解率为65.3%–85.7%，并发现SpoC等设计缺陷。

    • 85.7%Claude Mythos 5在Tier 1（42/49）基准下的破解成功率（Table 2）
    • 65.3%GLM-5.2在Tier 1（32/49）基准下的破解成功率（Table 2）
    • 35.7%Claude Mythos 5在Tier 2 Easy难度下的破解成功率（Table 2）
    6 问速览评估前沿模型能否自主分析并攻破真实密码原语，弥补自动化密码分析基准的空白。

    1. 这篇论文试图解决什么问题？

      评估前沿模型能否自主分析并攻破真实密码原语，弥补自动化密码分析基准的空白。

    2. 有哪些相关研究？

      涵盖神经差分分析、LLM玩具解密及网络安全CTF，本文聚焦真实候选标准原语。

    3. 论文如何解决这个问题？

      构建三层级191个任务基准，依托Docker双容器博弈交互与脚本自动化重测验证。

    4. 论文做了哪些实验？

      五款模型在Tier 1达65%–86%成功率，发现SpoC等新缺陷，受制于求解器工程实现。

    5. 有什么可以进一步探索的点？

      作者指明资源限制、证明系统扩展与记忆干扰等局限，实际评测限定于特定资源与模型。

    6. 总结一下论文的主要内容

      提出真实密码原语分析基准，证实前沿模型具备显著分析能力并能发现未公开设计缺陷。

    完整解读
  4. 评测/基准arXiv:2606.14295 · 57

    AgentCyberRange：复旦团队发布真实网络靶场自主攻击能力基准

    评估六款前沿AI的靶场攻击能力，GPT-5.5在Level-0下Web利用达16.1%、后渗透达31.7%。

    • 16.06%GPT-5.5在WebExploit L0的Pass@3(Avg)
    • 28.18%GPT-5.5在WebExploit L0的Pass@3(Max)
    • 31.71%GPT-5.5在PostExploit L0的Pass@3(Avg)
    6 问速览当前网络安全基准缺乏开放可复现的多主机靶场，难以评估前沿AI端到端自主网络攻击能力。

    1. 这篇论文试图解决什么问题？

      当前网络安全基准缺乏开放可复现的多主机靶场，难以评估前沿AI端到端自主网络攻击能力。

    2. 有哪些相关研究？

      现有研究涵盖CTF基准、真实软件漏洞利用及渗透测试智能体，缺乏端到端多主机靶场评测。

    3. 论文如何解决这个问题？

      构建包含Web与后渗透双轨的AGENTCYBERRANGE靶场，并由CAGE工具链实现调度与验证。

    4. 论文做了哪些实验？

      评估六款前沿系统在双轨三级设置下的表现，GPT-5.5均领先但距完全攻陷仍有差距。

    5. 有什么可以进一步探索的点？

      作者指出当前基准未覆盖全部攻击面，后续可针对隐蔽操作与长链条规划展开改进。

    6. 总结一下论文的主要内容

      构建开放多靶场评测基础设施AGENTCYBERRANGE，测定前沿AI网络攻击能力并揭示其端到端规划短板。

    完整解读
  5. 评测/基准arXiv:2608.03070 · 57

    FAR.AI 发布 AI 安全排行榜与护栏最低标准 1.0

    FAR.AI评估前沿模型CBRNE及网安防御，Grok 4.5与Gemini 3.1 Pro现通用越狱，另两模型未破。

    • 63Grok 4.5 随机搜索下通用越狱数（Figure 1）
    • 18Gemini 3.1 Pro 随机搜索通用越狱数（Figure 1）
    • 385Grok 4.5 专家引导下通用越狱数（Figure 1）
    6 问速览前沿AI模型在高危领域的防御水平参差不齐，论文旨在建立基线测试标准并量化通用越狱风险。

    1. 这篇论文试图解决什么问题？

      前沿AI模型在高危领域的防御水平参差不齐，论文旨在建立基线测试标准并量化通用越狱风险。

    2. 有哪些相关研究？

      论文梳理了越狱攻击技术、防御分类器机制以及高危能力评测三类相关工作，定位本文为最低静态防御基准。

    3. 论文如何解决这个问题？

      论文提出了包含67个原语的越狱分类法，构建了双重危害数据集，并通过三阶段漏斗评测识别通用越狱。

    4. 论文做了哪些实验？

      评测覆盖4家厂商旗舰模型，Grok 4.5与Gemini 3.1 Pro暴露大量通用越狱，Claude与GPT均未失陷。

    5. 有什么可以进一步探索的点？

      作者指出了数据集双重用途歧义、评审漏报及静态局限，实验未覆盖动态自适应攻击和真实能力提升。

    6. 总结一下论文的主要内容

      论文系统评测了前沿模型对已知静态越狱的防御能力，揭示了厂商间防护鲁棒性的巨大分化。

    完整解读
已经到底了