Skip to content

Translation in progress Some entries still include text in the original language.

Oct 13 · Tuesday

All papers

Found 24 papers

Another 215papers do not have category tags yet and are not included in filtered results.

  1. One More Skill Installed: How Co-Installed Skills in Coding Agents Conflict

    评测编码 Agent 中相似技能共同安装对已装技能核心功能的替代

    Published
    Evaluated models
    claude-sonnet-4-6, claude-haiku-4-5-20251001, claude-opus-5 and others6
    Abstract冲突藏在任务成功后面。

    作者对共同安装、做同一件事的良性 skill 做实证研究,用核心功能是否还在,而不是任务过不过,来看冲突。。

    Paper analysisRead analysis
  2. AgentTime 基准测试智能体时长遵循能力,GPT-6 Astra 出现 14 次做完后休眠

    提出 AgentTime 基准,评测智能体按时长工作与估时能力

    Published
    Evaluated models
    Fable 5.1, GPT-5.6 Sol, GPT-6 Astra and others7
    Abstract作者把完成任务和管理所用时间分开。

    AgentTime 是对智能体时间自控的评测:预测任务耗时、按要求时长工作、事后估计已用时间。

    Paper analysisRead analysis
  3. ParanoiaEval:编码智能体不必要风险处置评测基准发布

    提出 ParanoiaEval 评测编码智能体的不必要风险处置

    Published
    Evaluated models
    Opus-5, Sonnet-5, Sonnet-4.6 and others8
    Abstract作者用证据受控任务对评测风险处置,称其普遍、独立于任务能力并降低满意度。

    作者提出 ParanoiaEval,并称它是编码智能体风险处置能力的首个统一基准。要解决的问题是:证据已经确定风险应如何处置之后,智能体仍可能扩大验证、增加保护或备份,而现有评测要么只看功能正确性,要么把相关行为拆开研究。做法是把 NIST 的 ATMA 落到仓库任务。

    Paper analysisRead analysis
  4. SWE-CC 基准:编码 Agent 功能正确仍违反 43.1% 仓库贡献规范

    提出 SWE-CC 基准,评测编码 Agent 对仓库贡献策略的遵守

    Published
    Evaluated models
    GPT-5.6 Luna, Gemini 3.7 Flash, DeepSeek V4 Flash 0731 and others4
    AbstractSWE-CC 中功能正确仍可能违规。

    SWE-CC 评测编码智能体是否遵守仓库贡献策略,而不只看补丁能否通过测试。

    Paper analysisRead analysis
  5. AgentLSD:在对抗性任务污染下评测 AI 安全 Agent

    评测安全 Agent 在对抗性任务污染下的解题成功与开销

    Published
    Setting
    web agent
    Evaluated models
    Gemma-4 31B, DeepSeek-V4 Flash, GPT-OSS 120B and others6
    AbstractAgentLSD 用配对 web CTF 表明,欺骗性环境证据会改变安全智能体的解题率与工作量。

    AgentLSD 是一个对照框架,用来测量安全智能体在任务本身不变时,对对抗性任务污染的反应。

    Paper analysisRead analysis
  6. CS-Guard:首个面向代码生成安全的 LLM 护栏评测基准

    提出 CS-Guard 基准,评测代码生成护栏对虚构场景攻击的防御

    Published
    Attacker
    Black-box
    Evaluated models
    CodeLlama-13B-Instruct, DeepSeekCoder-V2-Lite-16B, GPT-OSS-20B and others7

    Abstract论文提出了代码安全护栏基准 CS-Guard,评估发现现有护栏对虚构场景攻击和代码级恶意请求防御较弱。

    Paper analysisRead analysis
  7. READY:面向企业 Agent 部署的可靠性资格认证框架

    提出 READY 框架,认证企业 Agent 在人工监督下能否达到规定可靠性

    Published
    Evaluated models
    Opus 5, Sonnet 5, GPT-5.6-Sol and others15
    AbstractREADY 把工作流证据转成可检验的可靠性–监督–成本部署画像。

    READY 把“智能体能否自主完成工作”改写成“哪个人机监督策略能在留出证据上达到规定可靠性,以及要付多少运营成本”。。

    Paper analysisRead analysis
  8. SciHazard:面向科研安全的危险能力评测基准与分解式危害评分

    构建 SciHazard 基准,评测科研智能体与 LLM 的科学危险能力

    Published
    Evaluated models
    WebThinker + DeepSeek-R1, InternAgent, Gemini Deep Research and others19
    AbstractSciHazard 用分解评分测科学滥用风险,作者称智能体抬高了可执行危害。

    SciHazard 是一个科学滥用风险基准,配一个把危害拆开再合成的自动分数。

    Paper analysisRead analysis
  9. BioSecBench-Refusal:面向智能体生物安全风险评估的配对基准

    提出 BioSecBench-Refusal,评测智能体生物研发拒答与隐蔽危害识别

    Published
    Evaluated models
    Opus 4.8, Opus 4.7, Opus 4.6 and others10
    Abstract配对基准显示拒绝多由 API 触发,合法任务常被拒得不少于隐蔽危害。

    BioSecBench-Refusal 把生物研发智能体的谨慎程度和识别隐蔽危害的能力放在同一套任务上测量。

    Paper analysisRead analysis
  10. AttacksarXiv 2607.03968

    The study reveals workflow-level jailbreaks in IDE programming agents: GitHub Copilot generated harmful content across four backends at 816/816

    提出工作流级越狱,让编程 Agent 在开发任务中写入有害示例

    Published
    Evaluated models
    Claude Sonnet 4.6, Claude Haiku 4.5, Gemini 3.1 Pro and others4
    Abstract作者报告 Copilot 后端会在编码工作流中生成其在单轮条件下通常拒绝的有害答案。

    这是一项生产 IDE 编码智能体的工作流越狱研究,受测对象是 Copilot 的四个模型后端,而非评测流水线中的名义目标。

    Paper analysisRead analysis
  11. DefensesarXiv 2606.08234

    SciTrace:面向科学发现智能体的轨迹感知安全推理框架

    提出 SciTrace,为科学发现智能体加入跨阶段安全推理与工具轨迹核验

    Published
    Evaluated models
    Llama-3.1-70B-Instruct, Qwen2.5-72B-Instruct, DeepSeek-V3 and others4
    AbstractSciTrace 把安全推理织入科学智能体各阶段,在 SciSafetyBench 上提高安全指标并保持输出质量。

    SciTrace 是加在科学发现智能体流水线上的安全框架,不是再在各阶段出口放一个独立过滤器。

    Paper analysisRead analysis
  12. 研究用消融移除代码 LLM 拒答方向,分离拒答与生成能力

    用 abliteration 消融代码 LLM 拒答方向,分离拒答与漏洞注入能力

    Published
    Evaluated models
    Qwen2.5-Coder-Instruct 3B, Qwen2.5-Coder-Instruct 7B, Qwen2.5-Coder-Instruct 14B
    Abstract拒答可用低秩编辑去掉,CWE-89 注入是否成功仍由模型规模决定。

    这项初步可行性研究用 abliteration 把代码 LLM 的拒答和 CWE 注入能力拆开:意愿可以被低秩编辑解锁,注入是否成功仍看参数规模。

    Paper analysisRead analysis
  13. 研究用 30 项漏洞分析任务评测自主安全智能体的安全对齐效果

    评测自主安全智能体在授权漏洞分析中的对齐拒答效应

    Published
    Evaluated models
    Gemma 4 31B official instruction-tuned model, TrevorJS Gemma 4 31B uncensored GGUF, Gemma 4 26B A4B official instruction-tuned model and others8
    Abstract轨迹级评测把拒答、接地、工具接口分开。

    这项工作把安全对齐效应测成自主安全智能体的轨迹属性,而不是单轮拒答率。

    Paper analysisRead analysis
  14. 研究提出说服传播现象:无关说服性对话会改变 AI Agent 的任务执行行为

    测量任务无关说服对 Agent 编码与网页研究行为的影响

    Published
    Evaluated models
    gpt-4.1-nano, mistral-nemo-12b, llama-3.1-8b
    Abstract任务无关说服会在轨迹上留下任务相关的行为痕迹,但立场易感性不能稳定预测其幅度。

    这篇工作测量一件事:与任务无关的说服进入对话之后,AI 智能体执行后面的编码或网页研究时,轨迹是否系统性不同,以及“更容易被说服”能否预测差有多大。

    Paper analysisRead analysis