跳到正文
10月8日 · 周四

危险能力 · 论文

精选论文 10 篇
危险能力

研究话题

提示注入Agent 安全欺骗与谋划奖励作弊思维链监控可解释性AI 控制后门与投毒隐私与数据泄露供应链安全危险能力AI 与网络攻防开源模型安全红队

公司与机构

OpenAIAnthropicGoogle DeepMindMetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi字节跳动腾讯蚂蚁集团上海人工智能实验室UK AISIUS CAISIMETRApollo ResearchRedwood ResearchFAR.AIPalisade Research

报告与框架

System Card前沿安全框架
  1. 评测/基准arXiv:2607.27191 · 56

    研究者提出影子评测：前沿 Agent 六天未能完成两篇 NeurIPS 投稿级研究

    研究者针对两篇未发表 NeurIPS 论文开展影子评测，发现前沿智能体虽能独立完成工程，但因科研判断与创造力不足，两篇产出均被作者拒稿。

    • 2/6Personas任务，Opus 4.8在OpenClaw下原作者评审Overall得分（据Table 1）
    • 1/6TabPFN任务，Opus 4.8在OpenClaw下原作者评审Overall得分（据Table 1）
    • $1,130Personas任务，Opus 4.8实际消耗的API费用（总预算$3,000，据Figure 1）
    6 问速览评估前沿 AI 智能体能否独立开展开放式 AI 科研，弥补现有可验证基准与盲审评估在衡量研发自动化上的不足。

    1. 这篇论文试图解决什么问题？

      评估前沿 AI 智能体能否独立开展开放式 AI 科研，弥补现有可验证基准与盲审评估在衡量研发自动化上的不足。

    2. 有哪些相关研究？

      现有研究主要分为基于预设指标的自动化验证基准与基于同行盲审的端到端生成，但两者分别受限于任务狭窄与评审随机性。

    3. 论文如何解决这个问题？

      构建影子评测框架，为智能体提供未公开顶会课题、算力预算与审稿工具，最终由原论文作者执行全流程匿名标准深度评审。

    4. 论文做了哪些实验？

      两项开放式科研任务均遭原作者明确拒稿，智能体虽能顺利完成工程实现，但在科学假设与审稿反馈处理上存在不足。

    5. 有什么可以进一步探索的点？

      作者指出了样本量小、非双盲评审偏差及未测及最强受限模型等局限，未来计划在更大规模未公开论文集上测试后续模型。

    6. 总结一下论文的主要内容

      论文通过影子评测发现前沿智能体能独立胜任科研工程实现，但在科学探索与有效利用反馈上未达到顶会门槛。

    完整解读
  2. 评测/基准arXiv:2608.11469 · 53

    SRE-Bench：面向 Agent 逆向工程的无污染真实规模基准

    作者构建污染受控的SRE-Bench，测11个模型的智能体逆向能力：公开设置下GPT-5.6-Sol仅完全解出31.5%可评分实例。

    • 31.5%公开设置GPT-5.6-Sol完全解出比例，80/254可评分实例（Table 4）
    • 26.9%公开设置Claude-Fable-5.1完全解出比例，60/223可评分实例（Table 4）
    • 82.3%公开设置GPT-6-Astra完全解出比例，149/181可评分实例（Table 4）
    6 问速览缺少既防记忆捷径、又达到真实规模与保护强度的智能体逆向工程评测。

    1. 这篇论文试图解决什么问题？

      缺少既防记忆捷径、又达到真实规模与保护强度的智能体逆向工程评测。

    2. 有哪些相关研究？

      作者把相关工作分为源码安全基准、传统RE产物评测、二进制软件工程基准和端到端智能体RE基准。

    3. 论文如何解决这个问题？

      从零编写19个程序和44种保护原语，编译成262个实例，用确定性评分器给六项任务打分。

    4. 论文做了哪些实验？

      公开与无约束两套设置评测11个模型；保护、构建因素和污染/规模消融改变分数与成本。

    5. 有什么可以进一步探索的点？

      作者指出程序数量与单程序规模仍受从零开发成本约束，更大程序是延伸方向。

    6. 总结一下论文的主要内容

      SRE-Bench用从零编写的大规模保护二进制评测智能体RE，公开设置下多数模型完全解开比例不高。

    完整解读
  3. 评测/基准arXiv:2607.18538 · 57

    CryptanalysisBench：五个前沿模型在 191 项密码分析任务上的表现

    评估五款前沿模型在191个密码分析任务中的表现：Tier 1破解率为65.3%–85.7%，并发现SpoC等设计缺陷。

    • 85.7%Claude Mythos 5在Tier 1（42/49）基准下的破解成功率（Table 2）
    • 65.3%GLM-5.2在Tier 1（32/49）基准下的破解成功率（Table 2）
    • 35.7%Claude Mythos 5在Tier 2 Easy难度下的破解成功率（Table 2）
    6 问速览评估前沿模型能否自主分析并攻破真实密码原语，弥补自动化密码分析基准的空白。

    1. 这篇论文试图解决什么问题？

      评估前沿模型能否自主分析并攻破真实密码原语，弥补自动化密码分析基准的空白。

    2. 有哪些相关研究？

      涵盖神经差分分析、LLM玩具解密及网络安全CTF，本文聚焦真实候选标准原语。

    3. 论文如何解决这个问题？

      构建三层级191个任务基准，依托Docker双容器博弈交互与脚本自动化重测验证。

    4. 论文做了哪些实验？

      五款模型在Tier 1达65%–86%成功率，发现SpoC等新缺陷，受制于求解器工程实现。

    5. 有什么可以进一步探索的点？

      作者指明资源限制、证明系统扩展与记忆干扰等局限，实际评测限定于特定资源与模型。

    6. 总结一下论文的主要内容

      提出真实密码原语分析基准，证实前沿模型具备显著分析能力并能发现未公开设计缺陷。

    完整解读
  4. 评测/基准arXiv:2609.09798 · 55

    CS-Guard：首个面向代码生成安全的 LLM 护栏评测基准

    研究者评估了代码安全护栏，发现基座模型在FSA攻击下ASR达85.9%–99.5%，现有护栏难以有效防御。

    • 98.2%CodeLlama-13B在CyberSecEval基线ASR
    • 99.5%Devstral-small在FSA攻击下的ASR
    • 100.0%GPT-OSS-20B在RMCBench代码填空ASR
    6 问速览论文评估了大模型代码生成安全护栏在文本与代码场景下的防御表现，指出当前护栏难以抵御隐蔽恶意代码请求。

    1. 这篇论文试图解决什么问题？

      论文评估了大模型代码生成安全护栏在文本与代码场景下的防御表现，指出当前护栏难以抵御隐蔽恶意代码请求。

    2. 有哪些相关研究？

      论文梳理了越狱攻击、护栏防御及代码安全评测三类研究，指出此前缺乏针对代码生成安全护栏的系统性评测。

    3. 论文如何解决这个问题？

      CS-Guard构建了两类代码生成任务与FSA攻击，提出三层护栏分类体系，采用多采样与多数投票自动化评测协议。

    4. 论文做了哪些实验？

      实验评测了7款模型和9种护栏，结果显示现有护栏对FSA攻击和代码填空与翻译防御较弱。

    5. 有什么可以进一步探索的点？

      作者指出了仅限英文、多轮评测样本量少、未评测白盒护栏及采用量化模型四项局限。

    6. 总结一下论文的主要内容

      论文提出了代码安全护栏基准CS-Guard，评估发现现有护栏对虚构场景攻击和代码级恶意请求防御较弱。

    完整解读
  5. 评测/基准arXiv:2606.14295 · 57

    AgentCyberRange：复旦团队发布真实网络靶场自主攻击能力基准

    评估六款前沿AI的靶场攻击能力，GPT-5.5在Level-0下Web利用达16.1%、后渗透达31.7%。

    • 16.06%GPT-5.5在WebExploit L0的Pass@3(Avg)
    • 28.18%GPT-5.5在WebExploit L0的Pass@3(Max)
    • 31.71%GPT-5.5在PostExploit L0的Pass@3(Avg)
    6 问速览当前网络安全基准缺乏开放可复现的多主机靶场，难以评估前沿AI端到端自主网络攻击能力。

    1. 这篇论文试图解决什么问题？

      当前网络安全基准缺乏开放可复现的多主机靶场，难以评估前沿AI端到端自主网络攻击能力。

    2. 有哪些相关研究？

      现有研究涵盖CTF基准、真实软件漏洞利用及渗透测试智能体，缺乏端到端多主机靶场评测。

    3. 论文如何解决这个问题？

      构建包含Web与后渗透双轨的AGENTCYBERRANGE靶场，并由CAGE工具链实现调度与验证。

    4. 论文做了哪些实验？

      评估六款前沿系统在双轨三级设置下的表现，GPT-5.5均领先但距完全攻陷仍有差距。

    5. 有什么可以进一步探索的点？

      作者指出当前基准未覆盖全部攻击面，后续可针对隐蔽操作与长链条规划展开改进。

    6. 总结一下论文的主要内容

      构建开放多靶场评测基础设施AGENTCYBERRANGE，测定前沿AI网络攻击能力并揭示其端到端规划短板。

    完整解读
  6. 评测/基准arXiv:2608.03070 · 57

    FAR.AI 发布 AI 安全排行榜与护栏最低标准 1.0

    FAR.AI评估前沿模型CBRNE及网安防御，Grok 4.5与Gemini 3.1 Pro现通用越狱，另两模型未破。

    • 63Grok 4.5 随机搜索下通用越狱数（Figure 1）
    • 18Gemini 3.1 Pro 随机搜索通用越狱数（Figure 1）
    • 385Grok 4.5 专家引导下通用越狱数（Figure 1）
    6 问速览前沿AI模型在高危领域的防御水平参差不齐，论文旨在建立基线测试标准并量化通用越狱风险。

    1. 这篇论文试图解决什么问题？

      前沿AI模型在高危领域的防御水平参差不齐，论文旨在建立基线测试标准并量化通用越狱风险。

    2. 有哪些相关研究？

      论文梳理了越狱攻击技术、防御分类器机制以及高危能力评测三类相关工作，定位本文为最低静态防御基准。

    3. 论文如何解决这个问题？

      论文提出了包含67个原语的越狱分类法，构建了双重危害数据集，并通过三阶段漏斗评测识别通用越狱。

    4. 论文做了哪些实验？

      评测覆盖4家厂商旗舰模型，Grok 4.5与Gemini 3.1 Pro暴露大量通用越狱，Claude与GPT均未失陷。

    5. 有什么可以进一步探索的点？

      作者指出了数据集双重用途歧义、评审漏报及静态局限，实验未覆盖动态自适应攻击和真实能力提升。

    6. 总结一下论文的主要内容

      论文系统评测了前沿模型对已知静态越狱的防御能力，揭示了厂商间防护鲁棒性的巨大分化。

    完整解读
已经到底了