跳到正文
10月10日 · 周六

全部论文

找到 19 篇
筛选3

模型自身风险

欺骗与谋划29奖励作弊25失准与价值偏离20Agent 危险操作65危险能力19拒答失当10幻觉与编造13

影响

滥用能力提升11

系统形态

AI Agent18coding agent7science agent7

层

提示层0模型层3应用层19训练与数据层3
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 194 篇还没打标签，不在筛选结果里。
模型自身风险：危险能力层：提示层层：应用层清除全部

另有 194 篇论文还没打上分类标签，暂不在筛选结果里。

  3. 评测与基准arXiv 2610.06584

    论文：AI 在非公开漏洞上更帮攻击者还是防御者

    评测 coding agent 在非公开漏洞上的利用生成、修复与后续攻击

    arXiv
    2610.06584
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    Opus 5、GPT-5.6 Sol、GPT-6 Sol 等 10 个
    摘要攻防孰强随环境、系统和弱点改变。

    作者比较编程智能体在利用生成与漏洞修复上的自主表现，并检查修复之后还能不能被攻破。文中的 help 指自主完成任务，不是提升人类操作者。

    深度解读完整解读
  5. 评测与基准arXiv 2610.03853

    报告评估 LLM Agent 选择和使用生物工具的能力

    评测 Agent 选择并早期操作高风险生物工具的能力

    arXiv
    2610.03853
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Claude Opus 4.7、Gemini 3.1 Pro Preview、GPT-5.5 等 7 个
    摘要七模型能选工具并部分操作 EVEscape 与 ESM3。

    这项评估测量七个前沿 LLM 智能体与生物工具交互的最早两步：为设计任务选工具，以及在仓库里完成玩具级操作。作者关心的是，有生命科学背景但不会专门操作高风险工具的行为者，能否借此降低门槛。范围限于预测性、生成性工具。

    深度解读完整解读
  7. 其他arXiv 2609.26457

    Weco AI 提出 AIDE2：AI 研究智能体递归自我改进 8 天获七次提升

    提出双层系统 AIDE2，使研究智能体自改进 Harness 并对比人类研发基线

    arXiv
    2609.26457
    发表
    层
    应用层
    场景
    science agent
    被测模型
    gemini 3 flash、gpt-5.6-sol、fable 5

    摘要提出双层递归自改进系统 AIDE2，在固定预算下演化 Harness 代码，多项留出基准超越人类基线并降低奖励黑客。

    深度解读完整解读
  9. 其他arXiv 2609.18120

    PentestChain：面向免费层 LLM 的成本感知 MCP 编排自动化渗透测试框架

    提出成本感知的 MCP 编排框架，用确定性利用图与免费层模型做自动化渗透测试

    arXiv
    2609.18120
    发表
    层
    应用层
    场景
    LLM 应用
    摘要确定性利用图加免费层级联在十次自建运行上测得付费成本为零。

    PentestChain 是一个十阶段、经 MCP 暴露的自动渗透框架，用确定性利用图把 7B 本地模型挡在利用关键路径之外，并把每次交战的美元成本当作实测指标。。

    深度解读完整解读
  10. 评测与基准arXiv 2609.15939

    VLoc Bench 发布：评测 Agent 在完整仓库中的漏洞定位能力

    提出 VLoc Bench，评测智能体在完整仓库中定位漏洞文件并抑制修复后误报

    arXiv
    2609.15939
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    GPT-5.5 (xhigh)、GPT-5.5 (default)、Gemini 3 Pro 等 15 个

    摘要论文提出仓库级漏洞定位基准 VLoc Bench，指出当前模型定位表现较低且易在已修复代码上产生误报。

    深度解读完整解读
  12. 评测与基准arXiv 2609.04075

    PatchBench：马里兰大学团队发布 C/C++ 漏洞修补评测基准

    提出基准 PATCHBENCH，评测编程 Agent 的漏洞修补是否真正修复根因

    arXiv
    2609.04075
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    Codex + GPT-5.6 Sol、OpenHands + GPT-5.6 Sol、Claude Code + Claude Opus 4.8 等 11 个

    摘要论文揭示漏洞修复评测的记忆与表面防护问题，提出离栈变异基准与双重验证，测得智能体实际解决率仅约五成。

    深度解读完整解读
  13. 评测与基准arXiv 2608.11469

    SRE-Bench：面向 Agent 逆向工程的无污染真实规模基准

    提出 SRE-Bench 评测智能体的真实规模二进制逆向能力

    arXiv
    2608.11469
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    GPT-6-Astra、GPT-5.6-Sol、GPT-5.6-Cyber 等 11 个
    摘要SRE-Bench 用从零编写的大规模保护二进制评测智能体 RE，公开设置下多数模型完全解开比例不高。

    作者构建并评测 SRE-Bench，一个从零编写、用于测量智能体逆向工程而非利用开发的基准，并称它同时满足污染控制与真实软件规模。

    深度解读完整解读
  14. 评测与基准arXiv 2607.27191

    研究者提出影子评测：前沿 Agent 六天未能完成两篇 NeurIPS 投稿级研究

    提出影子评测，衡量 Agent 自主完成开放式 AI 科研的能力

    arXiv
    2607.27191
    发表
    层
    应用层
    场景
    science agent
    被测模型
    Claude Opus 4.8、GPT-5.6 Sol、GPT-5.3 Codex

    摘要论文通过影子评测发现前沿智能体能独立胜任科研工程实现，但在科学探索与有效利用反馈上未达到顶会门槛。

    深度解读完整解读
  15. 评测与基准arXiv 2607.18665

    SciHazard：面向科研安全的危险能力评测基准与分解式危害评分

    构建 SciHazard 基准，评测科研智能体与 LLM 的科学危险能力

    arXiv
    2607.18665
    发表
    层
    应用层
    场景
    science agent
    被测模型
    WebThinker + DeepSeek-R1、InternAgent、Gemini Deep Research 等 19 个
    摘要SciHazard 用分解评分测科学滥用风险，作者称智能体抬高了可执行危害。

    SciHazard 是一个科学滥用风险基准，配一个把危害拆开再合成的自动分数。

    深度解读完整解读
  18. 防御arXiv 2606.08234

    SciTrace：面向科学发现智能体的轨迹感知安全推理框架

    提出 SciTrace，为科学发现智能体加入跨阶段安全推理与工具轨迹核验

    arXiv
    2606.08234
    发表
    层
    应用层
    场景
    science agent、多智能体
    被测模型
    Llama-3.1-70B-Instruct、Qwen2.5-72B-Instruct、DeepSeek-V3 等 4 个
    摘要SciTrace 把安全推理织入科学智能体各阶段，在 SciSafetyBench 上提高安全指标并保持输出质量。

    SciTrace 是加在科学发现智能体流水线上的安全框架，不是再在各阶段出口放一个独立过滤器。

    深度解读完整解读
  19. 其他arXiv 2402.04247

    论文探讨 AI 科学家的风险：应优先保障安全而非自主性

    梳理 AI 科学家的风险并主张三元防护框架

    arXiv
    2402.04247
    发表
    层
    应用层
    场景
    science agent
    摘要作者主张防护优先于自主性，用三元框架把输出安全扩展到行为与环境反馈。

    这是一篇关于 LLM 驱动 AI scientists 的 perspective：自主科研能力增强时，误用和意外后果缺少科学情境下的系统防护。

    深度解读完整解读
已经到底了