Skip to content

Translation in progress Some entries still include text in the original language.

Oct 12 · Monday

All papers

Found 24 papers

Another 265papers do not have category tags yet and are not included in filtered results.

  1. 研究:九种 LLM 说服力评测方法排名仅弱相关

    适配多种已发表说服评测并比较模型排名

    Published
    Evaluated models
    Claude-Fable-5.1, GPT-5.6-Sol, Kimi-K2.6 and others15
    Abstract说服分数混合能力与意愿,换任务后同一模型的排名可以差很多。

    这项研究比较的是自动化说服评测是否一致,而不是哪一种分数更正确。

    Paper analysisRead analysis
  2. 论文:AI 在非公开漏洞上更帮攻击者还是防御者

    评测 coding agent 在非公开漏洞上的利用生成、修复与后续攻击

    Published
    Evaluated models
    Opus 5, GPT-5.6 Sol, GPT-6 Sol and others10
    Abstract攻防孰强随环境、系统和弱点改变。

    作者比较编程智能体在利用生成与漏洞修复上的自主表现,并检查修复之后还能不能被攻破。文中的 help 指自主完成任务,不是提升人类操作者。

    Paper analysisRead analysis
  3. 报告评估 LLM Agent 选择和使用生物工具的能力

    评测 Agent 选择并早期操作高风险生物工具的能力

    Published
    Setting
    AI Agent
    Evaluated models
    Claude Opus 4.7, Gemini 3.1 Pro Preview, GPT-5.5 and others7
    Abstract七模型能选工具并部分操作 EVEscape 与 ESM3。

    这项评估测量七个前沿 LLM 智能体与生物工具交互的最早两步:为设计任务选工具,以及在仓库里完成玩具级操作。作者关心的是,有生命科学背景但不会专门操作高风险工具的行为者,能否借此降低门槛。范围限于预测性、生成性工具。

    Paper analysisRead analysis
  4. CyberPersistBench:评测 LLM 攻击者的安装与持久化能力

    用 CyberPersistBench 评测入侵后安装与持久化能力

    Published
    Setting
    AI Agent
    Evaluated models
    GPT-5.6-sol, Claude Sonnet 5, DeepSeek-V4-pro and others5
    AbstractCyberPersistBench 将入侵后持久化拆成可核验阶段,并比较原生防御与多主机条件。

    CyberPersistBench 是评测入侵后安装与持久化的基准,关注初始访问消失后是否仍能维持原生立足点。。

    Paper analysisRead analysis
  5. OtherarXiv 2609.26457

    Weco AI 提出 AIDE2:AI 研究智能体递归自我改进 8 天获七次提升

    提出双层系统 AIDE2,使研究智能体自改进 Harness 并对比人类研发基线

    Published
    Evaluated models
    gemini 3 flash, gpt-5.6-sol, fable 5

    Abstract提出双层递归自改进系统 AIDE2,在固定预算下演化 Harness 代码,多项留出基准超越人类基线并降低奖励黑客。

    Paper analysisRead analysis
  6. OtherarXiv 2609.18120

    PentestChain:面向免费层 LLM 的成本感知 MCP 编排自动化渗透测试框架

    提出成本感知的 MCP 编排框架,用确定性利用图与免费层模型做自动化渗透测试

    Published
    Abstract确定性利用图加免费层级联在十次自建运行上测得付费成本为零。

    PentestChain 是一个十阶段、经 MCP 暴露的自动渗透框架,用确定性利用图把 7B 本地模型挡在利用关键路径之外,并把每次交战的美元成本当作实测指标。。

    Paper analysisRead analysis
  7. VLoc Bench 发布:评测 Agent 在完整仓库中的漏洞定位能力

    提出 VLoc Bench,评测智能体在完整仓库中定位漏洞文件并抑制修复后误报

    Published
    Evaluated models
    GPT-5.5 (xhigh), GPT-5.5 (default), Gemini 3 Pro and others15

    Abstract论文提出仓库级漏洞定位基准 VLoc Bench,指出当前模型定位表现较低且易在已修复代码上产生误报。

    Paper analysisRead analysis
  8. PatchBench:马里兰大学团队发布 C/C++ 漏洞修补评测基准

    提出基准 PATCHBENCH,评测编程 Agent 的漏洞修补是否真正修复根因

    Published
    Evaluated models
    Codex + GPT-5.6 Sol, OpenHands + GPT-5.6 Sol, Claude Code + Claude Opus 4.8 and others11

    Abstract论文揭示漏洞修复评测的记忆与表面防护问题,提出离栈变异基准与双重验证,测得智能体实际解决率仅约五成。

    Paper analysisRead analysis
  9. SRE-Bench:面向 Agent 逆向工程的无污染真实规模基准

    提出 SRE-Bench 评测智能体的真实规模二进制逆向能力

    Published
    Evaluated models
    GPT-6-Astra, GPT-5.6-Sol, GPT-5.6-Cyber and others11
    AbstractSRE-Bench 用从零编写的大规模保护二进制评测智能体 RE,公开设置下多数模型完全解开比例不高。

    作者构建并评测 SRE-Bench,一个从零编写、用于测量智能体逆向工程而非利用开发的基准,并称它同时满足污染控制与真实软件规模。

    Paper analysisRead analysis
  10. Researchers propose shadow evaluation: frontier agents failed to complete two NeurIPS submission-level research projects in six days

    提出影子评测,衡量 Agent 自主完成开放式 AI 科研的能力

    Published
    Evaluated models
    Claude Opus 4.8, GPT-5.6 Sol, GPT-5.3 Codex

    Abstract论文通过影子评测发现前沿智能体能独立胜任科研工程实现,但在科学探索与有效利用反馈上未达到顶会门槛。

    Paper analysisRead analysis
  11. SciHazard:面向科研安全的危险能力评测基准与分解式危害评分

    构建 SciHazard 基准,评测科研智能体与 LLM 的科学危险能力

    Published
    Evaluated models
    WebThinker + DeepSeek-R1, InternAgent, Gemini Deep Research and others19
    AbstractSciHazard 用分解评分测科学滥用风险,作者称智能体抬高了可执行危害。

    SciHazard 是一个科学滥用风险基准,配一个把危害拆开再合成的自动分数。

    Paper analysisRead analysis
  12. CryptanalysisBench: Performance of five frontier models on 191 cryptanalysis tasks

    用 CryptanalysisBench 评测大模型的端到端密码分析能力

    Published
    Evaluated models
    Claude Opus 4.8, Claude Sonnet 5, Claude Mythos 5 and others10

    Abstract提出真实密码原语分析基准,证实前沿模型具备显著分析能力并能发现未公开设计缺陷。

    Paper analysisRead analysis