Skip to content

Translation in progress Some entries still include text in the original language.

Oct 13 · Tuesday

All papers

Found 12 papers

Another 213papers do not have category tags yet and are not included in filtered results.

  1. 论文:AI 在非公开漏洞上更帮攻击者还是防御者

    评测 coding agent 在非公开漏洞上的利用生成、修复与后续攻击

    Published
    Evaluated models
    Opus 5, GPT-5.6 Sol, GPT-6 Sol and others10
    Abstract攻防孰强随环境、系统和弱点改变。

    作者比较编程智能体在利用生成与漏洞修复上的自主表现,并检查修复之后还能不能被攻破。文中的 help 指自主完成任务,不是提升人类操作者。

    Paper analysisRead analysis
  2. VLoc Bench released: evaluating Agent vulnerability localization capability in complete repositories

    提出 VLoc Bench,评测智能体在完整仓库中定位漏洞文件并抑制修复后误报

    Published
    Evaluated models
    GPT-5.5 (xhigh), GPT-5.5 (default), Gemini 3 Pro and others15

    Abstract论文提出仓库级漏洞定位基准 VLoc Bench,指出当前模型定位表现较低且易在已修复代码上产生误报。

    Paper analysisRead analysis
  3. PatchBench: University of Maryland team releases C/C++ vulnerability repair evaluation benchmark

    提出基准 PATCHBENCH,评测编程 Agent 的漏洞修补是否真正修复根因

    Published
    Evaluated models
    Codex + GPT-5.6 Sol, OpenHands + GPT-5.6 Sol, Claude Code + Claude Opus 4.8 and others11

    Abstract论文揭示漏洞修复评测的记忆与表面防护问题,提出离栈变异基准与双重验证,测得智能体实际解决率仅约五成。

    Paper analysisRead analysis
  4. SRE-Bench: A Contamination-Free Real-Scale Benchmark for Agent Reverse Engineering

    提出 SRE-Bench 评测智能体的真实规模二进制逆向能力

    Published
    Evaluated models
    GPT-6-Astra, GPT-5.6-Sol, GPT-5.6-Cyber and others11
    AbstractSRE-Bench 用从零编写的大规模保护二进制评测智能体 RE,公开设置下多数模型完全解开比例不高。

    作者构建并评测 SRE-Bench,一个从零编写、用于测量智能体逆向工程而非利用开发的基准,并称它同时满足污染控制与真实软件规模。

    Paper analysisRead analysis
  5. CryptanalysisBench: Performance of five frontier models on 191 cryptanalysis tasks

    用 CryptanalysisBench 评测大模型的端到端密码分析能力

    Published
    Evaluated models
    Claude Opus 4.8, Claude Sonnet 5, Claude Mythos 5 and others10

    Abstract提出真实密码原语分析基准,证实前沿模型具备显著分析能力并能发现未公开设计缺陷。

    Paper analysisRead analysis
  6. SciRisk-Bench:面向 AI4Science 安全的风险维度感知基准

    提出 SciRisk-Bench,按风险维度与学科评测 AI4Science 安全

    Published
    Evaluated models
    kimi-k2.6, glm-5.1, gemini-3-flash-preview and others14
    AbstractSciRisk-Bench 以风险维度和学科诊断 AI4Science 安全。

    SciRisk-Bench 是一个按风险维度和科学学科组织的 AI4Science 安全基准,用来看清失败来自哪一种风险机制、出现在哪个学科情境。作者认为 LLM 已介入科研问答、文献分析、实验规划和自主发现,而不安全输出不限于事实错误。现有科学能力基准不测安全,领域安全基准又多集中在化学、医学或生物,或只按宽泛安全类别打分。

    Paper analysisRead analysis
  7. AgentCyberRange:复旦团队发布真实网络靶场自主攻击能力基准

    构建真实网络靶场基准,评测 AI 的端到端自主攻击能力

    Published
    Evaluated models
    GPT-5.5, Claude-Opus-4.7, GLM-5.1 and others7

    Abstract构建开放多靶场评测基础设施 AGENTCYBERRANGE,测定前沿 AI 网络攻击能力并揭示其端到端规划短板。

    Paper analysisRead analysis
  8. LLM capability uplift for novices on dual-use computational biology tasks

    比较生物新手使用多模型 LLM 与仅联网在双用途计算生物学任务上的能力提升

    Published
    Evaluated models
    Gemini 2.5 Pro, Gemini 2.5 Pro Preview (05-06), o3 and others8
    Abstract多模型 LLM 把多项任务上的新手抬过仅联网对照,但常常低于单独运行的 LLM。

    这是一项多模型、长时间的人类提升评测:看很少或没有复杂生物实验经验的人,在有前沿 LLM 时能否比仅用互联网更好地完成计算机上的生物安全相关任务。

    Paper analysisRead analysis
You have reached the end