Agent 安全 · 论文

• 定位与出发点：本研究针对当前 AI 能否自主进行 AI 科研这一核心争议，提出了由未公开论文原作者担任评审专家的“影子评测”方法，用以衡量前沿智能体在长周期开放式科研中的真实水平。
• 核心评估问题：现有评估主要依赖狭窄可验证指标或高随机性的学术会议盲审，无法检验智能体在缺乏明确自动验证信号时提出假设、设计实验和应对挫折的能力。
• 方法设计：选取两篇提交至 NeurIPS 2026 的未公开论文（Personas 与 TabPFN），利用 OpenClaw 支架搭载 Claude Opus 4.8，给予 6 天时间、3,000 美元 API 预算与充足 GPU 算力，让智能体端到端自主完成科研并成文，最后由原作者依据顶会官方标准进行深度审稿。
• 关键实验结果：
  1. 两篇论文在原作者评审中分别获得 2/6（Reject）和 1/6（Strong Reject）的得分，均被明确拒稿（据 Table 1）。
  2. 智能体均未充分利用分配的资源，Personas 任务仅消耗 1,130 美元 API 预算，TabPFN 任务仅消耗 1,235 美元（总预算均为 3,000 美元，据 Figure 1）。
  3. 在探索进程上，Personas 智能体原定 42 小时探索却在 5 小时后便放弃其他假设并收敛；TabPFN 智能体的方法在真实分布偏移下的 AUROC 仅为 0.60，明显低于合成偏移下的 0.76（据 Figure 2、第 26 页）。
  4. 两篇提交论文均达 10 页违反 9 页限制，且引文数量（16 篇与 36 篇）大幅少于原作者论文的 52 篇与 69 篇（据 4.6 节）。
• 主要失败模式与能力边界：日志分析归纳出五大失败模式，包括对研究发表门槛缺乏判断、面对负面反馈缺乏创造性解法、无法从死胡同有效回溯、资源与时间感知薄弱以及指令漂移；但智能体展现了出色的工程执行力，在无人类干预下完成了环境配置、代码编写和实验排错。
• 结论与启示：作者指出当前前沿智能体虽能胜任科研中的工程实现环节，但尚无法独立解决周级别的开放式科学研究；在评估 AI 研发自动化时，必须将狭窄任务的指标优化与开放式科学探索明确区分开来。

作者构建并评测 SRE-Bench，一个从零编写、用于测量智能体逆向工程而非利用开发的基准，并称它同时满足污染控制与真实软件规模。

该研究提出了基于可执行安全属性探针的自动化评估基准 MobileCyBench，用于衡量 AI 智能体在移动应用及后端环境下的漏洞挖掘与利用生成能力。

• 研究定位：针对大模型智能体在安全分析中往往跳过代码排查直接评测下游行为的现状，论文提出了评估全仓库尺度下弱点定位与修复后验证能力的基准 VLoc Bench。
• 核心问题：现有安全基准多预选代码片段或由测试用例驱动下游利用与修复，使得智能体在未知代码库中仅凭抽象弱点类别能否独立找准漏洞代码这一防御关键能力缺乏客观度量。
• 基准方法：基准基于 500 个真实漏洞构建成对的前后快照，在只读终端沙箱中仅向智能体提供 CWE 类别描述；分别在修复前快照测试其检出补丁文件的 File F1，并在修复后快照测试其判断漏洞已消除的真阴性率（TNR）。
• 核心实验发现：
  1. 定位整体难度大：在 27 款语言模型中，表现最高的 GPT-5.5 (xhigh) 在 Phase A 仅取得 0.229 的 File F1，且全基准有 38.4% 的任务所有模型均未定位成功（Table 2，第 5.3 节）。
  2. 定位与克制出现权衡：定位得分较高的模型在已打补丁的快照上表现出明显的误报倾向，GPT-5.5 (xhigh) 的 TNR 仅为 0.279，微调模型 Antares-3B 的 TNR 仅为 0.034（Table 3）。
  3. 仓库结构主导任务难度：回归分析结果中仓库结构特征对难度解释的权重是模型类别权重的 4.5 倍（Figure 3），大于 10 MB 的仓库平均 File F1（0.058）仅为小于 100 KB 仓库（0.598）的约十分之一（Figure 4）。
• 作者结论与启示：作者认为漏洞定位是一项独立于通用代码能力的仓库级安全分析技能；构建实用的防御型智能体不仅需要提升长程目标检索与工具交互水平，更必须将修复后识别无漏洞、避免告警疲劳的克制能力作为首要考量。