跳到正文
10月10日 · 周六

全部论文

找到 25 篇
筛选5

模型自身风险

欺骗与谋划32奖励作弊27失准与价值偏离19Agent 危险操作68危险能力18拒答失当7幻觉与编造11

影响

有害内容5可用性与可靠性3滥用能力提升10

系统形态

模型与 API52AI Agent25coding agent9science agent7网页与电脑操作0

层

应用层22
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 242 篇还没打标签，不在筛选结果里。
模型自身风险：危险能力模型自身风险：拒答失当系统形态：AI Agent系统形态：coding agent系统形态：网页与电脑操作清除全部

另有 242 篇论文还没打上分类标签，暂不在筛选结果里。

  3. 评测与基准arXiv 2610.06584

    论文：AI 在非公开漏洞上更帮攻击者还是防御者

    评测 coding agent 在非公开漏洞上的利用生成、修复与后续攻击

    arXiv
    2610.06584
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    Opus 5、GPT-5.6 Sol、GPT-6 Sol 等 10 个
    摘要攻防孰强随环境、系统和弱点改变。

    作者比较编程智能体在利用生成与漏洞修复上的自主表现，并检查修复之后还能不能被攻破。文中的 help 指自主完成任务，不是提升人类操作者。

    深度解读完整解读
  6. 评测与基准arXiv 2610.03938

    论文发现多模态模型启用工具后拒答失败率最高上升 68.7%

    评测 ReAct 工具调用对多模态模型拒答有害请求的削弱

    arXiv
    2610.03938
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Gemini-2.5-Pro、Gemini-3.1-Pro-Preview、Claude Opus 4.6 等 13 个
    摘要论文揭示了工具调用范式削弱 MLLM 拒答能力的现象，分析了稀释与偏移机制并验证了重注缓解方案。

    论文系统评估了智能体工具调用范式对多模态大语言模型拒答能力的影响，指出了工具增强视觉推理背后的安全隐患。核心探讨的问题在于：当 MLLM 从单次推理转向通过 ReAct 循环调用外部工具（打标、缩放、OCR、代码执行）时，工具使用机制本身是否会降低模型拒答有害请求的概率。

    深度解读完整解读
  7. 评测与基准arXiv 2610.03853

    报告评估 LLM Agent 选择和使用生物工具的能力

    评测 Agent 选择并早期操作高风险生物工具的能力

    arXiv
    2610.03853
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Claude Opus 4.7、Gemini 3.1 Pro Preview、GPT-5.5 等 7 个
    摘要七模型能选工具并部分操作 EVEscape 与 ESM3。

    这项评估测量七个前沿 LLM 智能体与生物工具交互的最早两步：为设计任务选工具，以及在仓库里完成玩具级操作。作者关心的是，有生命科学背景但不会专门操作高风险工具的行为者，能否借此降低门槛。范围限于预测性、生成性工具。

    深度解读完整解读
  8. 风险行为arXiv 2609.38971

    研究测量并预测具身 VLM 规划器中任务的拒答可变性

    测量并预测具身 VLM 规划器的任务拒答可变性

    arXiv
    2609.38971
    发表
    层
    模型层
    场景
    具身与机器人
    被测模型
    gemini-robotics-er-2-preview、gemini-robotics-er-1.6-preview
    摘要日常物体能翻转一部分已给出的拒答，可翻转程度取决于任务且可被本地代理预测。

    作者测量 constitution 守护的具身 VLM 规划器：一次拒答在只往场景里放一个日常物体之后还保不保持得住，并把这种易翻转程度称为任务的 malleability。

    深度解读完整解读
  9. 其他arXiv 2609.36054

    多作者论文评估 AI 研发自动化触发智能爆炸的可能与政策应对

    评估自动化 AI 研发触发智能爆炸的可能并提出政策应对

    arXiv
    2609.36054
    发表
    层
    训练与数据层
    场景
    science agent
    摘要软件驱动智能爆炸可能把数年进展压进数月，作者要求三项政策先做好。

    Chan 等论证：自动化 AI 研发可能经软件反馈环形成智能爆炸，把本需数年的进展压进数月或更短。他们关心的不是换硬件的建设周期，而是 AI 扩大有效研发劳动力、再产出更强系统，以及社会能否在能力跃迁前看见、约束并适应这一过程。

    深度解读完整解读
  10. 评测与基准arXiv 2609.33658

    AgentBound：面向工具型 LLM Agent 安全的四路反事实评测框架

    提出 AGENT BOUNDARY，用四向反事实任务评测工具智能体行动边界

    arXiv
    2609.33658
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    GPT-5.5、Claude Opus 4.8、Gemini 3.5 Flash 等 15 个
    摘要四向反事实基准把过度拒绝和未授权遵从拆开，Thought 校正在十个配置上提高已授权完成。

    AGENT BOUNDARY 是面向工具使用 LLM 智能体的四向可执行反事实评测，并附带一个决策时 Thought 校准模块。

    深度解读完整解读
  12. 其他arXiv 2609.26457

    Weco AI 提出 AIDE2：AI 研究智能体递归自我改进 8 天获七次提升

    提出双层系统 AIDE2，使研究智能体自改进 Harness 并对比人类研发基线

    arXiv
    2609.26457
    发表
    层
    应用层
    场景
    science agent
    被测模型
    gemini 3 flash、gpt-5.6-sol、fable 5

    摘要提出双层递归自改进系统 AIDE2，在固定预算下演化 Harness 代码，多项留出基准超越人类基线并降低奖励黑客。

    深度解读完整解读
  14. 评测与基准arXiv 2609.15939

    VLoc Bench 发布：评测 Agent 在完整仓库中的漏洞定位能力

    提出 VLoc Bench，评测智能体在完整仓库中定位漏洞文件并抑制修复后误报

    arXiv
    2609.15939
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    GPT-5.5 (xhigh)、GPT-5.5 (default)、Gemini 3 Pro 等 15 个

    摘要论文提出仓库级漏洞定位基准 VLoc Bench，指出当前模型定位表现较低且易在已修复代码上产生误报。

    深度解读完整解读
  16. 评测与基准arXiv 2609.04075

    PatchBench：马里兰大学团队发布 C/C++ 漏洞修补评测基准

    提出基准 PATCHBENCH，评测编程 Agent 的漏洞修补是否真正修复根因

    arXiv
    2609.04075
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    Codex + GPT-5.6 Sol、OpenHands + GPT-5.6 Sol、Claude Code + Claude Opus 4.8 等 11 个

    摘要论文揭示漏洞修复评测的记忆与表面防护问题，提出离栈变异基准与双重验证，测得智能体实际解决率仅约五成。

    深度解读完整解读
  18. 评测与基准arXiv 2608.11469

    SRE-Bench：面向 Agent 逆向工程的无污染真实规模基准

    提出 SRE-Bench 评测智能体的真实规模二进制逆向能力

    arXiv
    2608.11469
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    GPT-6-Astra、GPT-5.6-Sol、GPT-5.6-Cyber 等 11 个
    摘要SRE-Bench 用从零编写的大规模保护二进制评测智能体 RE，公开设置下多数模型完全解开比例不高。

    作者构建并评测 SRE-Bench，一个从零编写、用于测量智能体逆向工程而非利用开发的基准，并称它同时满足污染控制与真实软件规模。

    深度解读完整解读
  19. 其他arXiv 2607.28568

    Frontis-MA1：面向机器学习工程递归自我改进的 AI4AI 模型

    提出 OpenMLE，后训练元进化智能体并做机器学习工程长程搜索

    arXiv
    2607.28568
    发表
    层
    训练与数据层
    场景
    coding agent
    被测模型
    Frontis-MA1-35B、Frontis-MA1-30B
    摘要OpenMLE 训练 Frontis-MA1-35B，用四个共享算子把 MLE 后训练和长程搜索接成元进化闭环。

    作者提出全栈 OpenMLE，在机器学习工程里研究从进化到元进化的一步，并把递归自我改进视为更远目标。智能体要在延迟、有噪声的执行反馈下反复修改程序。作者认为公开系统很少同时提供可扩展环境、基于执行的后训练，以及部署该模型的长程进化搜索。

    深度解读完整解读
  20. 评测与基准arXiv 2607.27191

    研究者提出影子评测：前沿 Agent 六天未能完成两篇 NeurIPS 投稿级研究

    提出影子评测，衡量 Agent 自主完成开放式 AI 科研的能力

    arXiv
    2607.27191
    发表
    层
    应用层
    场景
    science agent
    被测模型
    Claude Opus 4.8、GPT-5.6 Sol、GPT-5.3 Codex

    摘要论文通过影子评测发现前沿智能体能独立胜任科研工程实现，但在科学探索与有效利用反馈上未达到顶会门槛。

    深度解读完整解读
加载更多