Skip to content

Translation in progress Some entries still include text in the original language.

Oct 12 · Monday

All papers

Found 19 papers

Another 233papers do not have category tags yet and are not included in filtered results.

  1. 论文:AI 在非公开漏洞上更帮攻击者还是防御者

    评测 coding agent 在非公开漏洞上的利用生成、修复与后续攻击

    Published
    Evaluated models
    Opus 5, GPT-5.6 Sol, GPT-6 Sol and others10
    Abstract攻防孰强随环境、系统和弱点改变。

    作者比较编程智能体在利用生成与漏洞修复上的自主表现,并检查修复之后还能不能被攻破。文中的 help 指自主完成任务,不是提升人类操作者。

    Paper analysisRead analysis
  2. 报告评估 LLM Agent 选择和使用生物工具的能力

    评测 Agent 选择并早期操作高风险生物工具的能力

    Published
    Setting
    AI Agent
    Evaluated models
    Claude Opus 4.7, Gemini 3.1 Pro Preview, GPT-5.5 and others7
    Abstract七模型能选工具并部分操作 EVEscape 与 ESM3。

    这项评估测量七个前沿 LLM 智能体与生物工具交互的最早两步:为设计任务选工具,以及在仓库里完成玩具级操作。作者关心的是,有生命科学背景但不会专门操作高风险工具的行为者,能否借此降低门槛。范围限于预测性、生成性工具。

    Paper analysisRead analysis
  3. CyberPersistBench:评测 LLM 攻击者的安装与持久化能力

    用 CyberPersistBench 评测入侵后安装与持久化能力

    Published
    Setting
    AI Agent
    Evaluated models
    GPT-5.6-sol, Claude Sonnet 5, DeepSeek-V4-pro and others5
    AbstractCyberPersistBench 将入侵后持久化拆成可核验阶段,并比较原生防御与多主机条件。

    CyberPersistBench 是评测入侵后安装与持久化的基准,关注初始访问消失后是否仍能维持原生立足点。。

    Paper analysisRead analysis
  4. VLoc Bench released: evaluating Agent vulnerability localization capability in complete repositories

    提出 VLoc Bench,评测智能体在完整仓库中定位漏洞文件并抑制修复后误报

    Published
    Evaluated models
    GPT-5.5 (xhigh), GPT-5.5 (default), Gemini 3 Pro and others15

    Abstract论文提出仓库级漏洞定位基准 VLoc Bench,指出当前模型定位表现较低且易在已修复代码上产生误报。

    Paper analysisRead analysis
  5. PatchBench: University of Maryland team releases C/C++ vulnerability repair evaluation benchmark

    提出基准 PATCHBENCH,评测编程 Agent 的漏洞修补是否真正修复根因

    Published
    Evaluated models
    Codex + GPT-5.6 Sol, OpenHands + GPT-5.6 Sol, Claude Code + Claude Opus 4.8 and others11

    Abstract论文揭示漏洞修复评测的记忆与表面防护问题,提出离栈变异基准与双重验证,测得智能体实际解决率仅约五成。

    Paper analysisRead analysis
  6. SRE-Bench: A Contamination-Free Real-Scale Benchmark for Agent Reverse Engineering

    提出 SRE-Bench 评测智能体的真实规模二进制逆向能力

    Published
    Evaluated models
    GPT-6-Astra, GPT-5.6-Sol, GPT-5.6-Cyber and others11
    AbstractSRE-Bench 用从零编写的大规模保护二进制评测智能体 RE,公开设置下多数模型完全解开比例不高。

    作者构建并评测 SRE-Bench,一个从零编写、用于测量智能体逆向工程而非利用开发的基准,并称它同时满足污染控制与真实软件规模。

    Paper analysisRead analysis
  7. Researchers propose shadow evaluation: frontier agents failed to complete two NeurIPS submission-level research projects in six days

    提出影子评测,衡量 Agent 自主完成开放式 AI 科研的能力

    Published
    Evaluated models
    Claude Opus 4.8, GPT-5.6 Sol, GPT-5.3 Codex

    Abstract论文通过影子评测发现前沿智能体能独立胜任科研工程实现,但在科学探索与有效利用反馈上未达到顶会门槛。

    Paper analysisRead analysis
  8. SciHazard:面向科研安全的危险能力评测基准与分解式危害评分

    构建 SciHazard 基准,评测科研智能体与 LLM 的科学危险能力

    Published
    Evaluated models
    WebThinker + DeepSeek-R1, InternAgent, Gemini Deep Research and others19
    AbstractSciHazard 用分解评分测科学滥用风险,作者称智能体抬高了可执行危害。

    SciHazard 是一个科学滥用风险基准,配一个把危害拆开再合成的自动分数。

    Paper analysisRead analysis
  9. CryptanalysisBench: Performance of five frontier models on 191 cryptanalysis tasks

    用 CryptanalysisBench 评测大模型的端到端密码分析能力

    Published
    Evaluated models
    Claude Opus 4.8, Claude Sonnet 5, Claude Mythos 5 and others10

    Abstract提出真实密码原语分析基准,证实前沿模型具备显著分析能力并能发现未公开设计缺陷。

    Paper analysisRead analysis
  10. AgentCyberRange:复旦团队发布真实网络靶场自主攻击能力基准

    构建真实网络靶场基准,评测 AI 的端到端自主攻击能力

    Published
    Evaluated models
    GPT-5.5, Claude-Opus-4.7, GLM-5.1 and others7

    Abstract构建开放多靶场评测基础设施 AGENTCYBERRANGE,测定前沿 AI 网络攻击能力并揭示其端到端规划短板。

    Paper analysisRead analysis
  11. VirtualCrime:通过沙箱模拟评估大语言模型的犯罪潜力与智能体行为

    用 VirtualCrime 沙盒评测模型被赋予犯罪角色后的多步执行与过度伤害

    Published
    Setting
    AI Agent
    Evaluated models
    GPT-4.1, GPT-5, Claude-Haiku-4.5 and others8
    Abstract作者称八个 LLM 会在沙盒中编排多步犯罪,手段偏欺骗与协作,并出现过度伤害。

    VirtualCrime 是一个多 LLM 智能体的文本沙盒,用来测量模型在被指定犯罪目标之后的多步行为,而不是测量它会不会拒绝恶意查询,也不是测量它会不会自发产生恶意意图。作者要回答的是:初始防护被角色指派绕过之后,模型在会调查、报警并逮捕队伍的环境里,能规划并执行什么,以及执行时是否超出任务所需去使用武力或破坏。除这一指派外,不用外部工具或任务特定脚手架。

    Paper analysisRead analysis
You have reached the end