Skip to content

Translation in progress Some entries still include text in the original language.

Oct 13 · Tuesday

All papers

Found 19 papers
Filter5
Select any value within a category; different categories must all match. Counts include the other filters you have selected.Another 215papers have no tags yet and are not included in filtered results.

Another 215papers do not have category tags yet and are not included in filtered results.

  1. One More Skill Installed: How Co-Installed Skills in Coding Agents Conflict

    评测编码 Agent 中相似技能共同安装对已装技能核心功能的替代

    Published
    Evaluated models
    claude-sonnet-4-6, claude-haiku-4-5-20251001, claude-opus-5 and others6
    Abstract冲突藏在任务成功后面。

    作者对共同安装、做同一件事的良性 skill 做实证研究,用核心功能是否还在,而不是任务过不过,来看冲突。。

    Paper analysisRead analysis
  2. AgentTime 基准测试智能体时长遵循能力,GPT-6 Astra 出现 14 次做完后休眠

    提出 AgentTime 基准,评测智能体按时长工作与估时能力

    Published
    Evaluated models
    Fable 5.1, GPT-5.6 Sol, GPT-6 Astra and others7
    Abstract作者把完成任务和管理所用时间分开。

    AgentTime 是对智能体时间自控的评测:预测任务耗时、按要求时长工作、事后估计已用时间。

    Paper analysisRead analysis
  3. ParanoiaEval:编码智能体不必要风险处置评测基准发布

    提出 ParanoiaEval 评测编码智能体的不必要风险处置

    Published
    Evaluated models
    Opus-5, Sonnet-5, Sonnet-4.6 and others8
    Abstract作者用证据受控任务对评测风险处置,称其普遍、独立于任务能力并降低满意度。

    作者提出 ParanoiaEval,并称它是编码智能体风险处置能力的首个统一基准。要解决的问题是:证据已经确定风险应如何处置之后,智能体仍可能扩大验证、增加保护或备份,而现有评测要么只看功能正确性,要么把相关行为拆开研究。做法是把 NIST 的 ATMA 落到仓库任务。

    Paper analysisRead analysis
  4. 论文:AI 在非公开漏洞上更帮攻击者还是防御者

    评测 coding agent 在非公开漏洞上的利用生成、修复与后续攻击

    Published
    Evaluated models
    Opus 5, GPT-5.6 Sol, GPT-6 Sol and others10
    Abstract攻防孰强随环境、系统和弱点改变。

    作者比较编程智能体在利用生成与漏洞修复上的自主表现,并检查修复之后还能不能被攻破。文中的 help 指自主完成任务,不是提升人类操作者。

    Paper analysisRead analysis
  5. SWE-CC 基准:编码 Agent 功能正确仍违反 43.1% 仓库贡献规范

    提出 SWE-CC 基准,评测编码 Agent 对仓库贡献策略的遵守

    Published
    Evaluated models
    GPT-5.6 Luna, Gemini 3.7 Flash, DeepSeek V4 Flash 0731 and others4
    AbstractSWE-CC 中功能正确仍可能违规。

    SWE-CC 评测编码智能体是否遵守仓库贡献策略,而不只看补丁能否通过测试。

    Paper analysisRead analysis
  6. RAGStress:评测知识库退化下 RAG 鲁棒性的受控基准

    提出 RAGStress 受控基准,评测知识库退化下的 RAG

    Published
    Evaluated models
    Claude Sonnet 4, Claude Opus 4.6, DeepSeek R1 and others5
    Abstract作者用 RAGStress 比较五系统。

    RAGStress 是知识库损坏下的 RAG 受控压力测试。作者明确不把它当作模型排行榜。

    Paper analysisRead analysis
  7. OtherarXiv 2609.18120

    PentestChain:面向免费层 LLM 的成本感知 MCP 编排自动化渗透测试框架

    提出成本感知的 MCP 编排框架,用确定性利用图与免费层模型做自动化渗透测试

    Published
    Abstract确定性利用图加免费层级联在十次自建运行上测得付费成本为零。

    PentestChain 是一个十阶段、经 MCP 暴露的自动渗透框架,用确定性利用图把 7B 本地模型挡在利用关键路径之外,并把每次交战的美元成本当作实测指标。。

    Paper analysisRead analysis
  8. PIDS-Bench:在过度防御、混淆与分布偏移下评测提示注入检测器

    提出 PIDS-Bench,评测提示注入检测器在过度防御与分布偏移下的表现

    Published
    Evaluated models
    TF-IDF + logistic regression, DistilBERT, DeBERTa-v3-FT and others7
    AbstractPIDS-Bench 显示高分布内 F1 仍会过度拦截外部来源的安全相关良性输入。

    PIDS-Bench 是一个冻结的检测器级基准,用来在固定阈值下同时看提示注入检测和良性误报。

    Paper analysisRead analysis
  9. FairMedAgent:临床 LLM 智能体公平性审计中的随机噪声下限

    用 FairMedAgent 测量临床智能体在输入不变时的动作不稳定性下限

    Published
    Evaluated models
    claude-haiku-4-5, claude-sonnet-5, llama3.1:8b-instruct and others7
    Abstract先测同一输入下的动作不一致率,再用它解读人口学翻转率。

    FairMedAgent 把临床智能体公平审计里的采样噪声单独量出来:输入不变时动作仍会改变,这个比率就是解读翻转率的下限。。

    Paper analysisRead analysis
  10. READY:面向企业 Agent 部署的可靠性资格认证框架

    提出 READY 框架,认证企业 Agent 在人工监督下能否达到规定可靠性

    Published
    Evaluated models
    Opus 5, Sonnet 5, GPT-5.6-Sol and others15
    AbstractREADY 把工作流证据转成可检验的可靠性–监督–成本部署画像。

    READY 把“智能体能否自主完成工作”改写成“哪个人机监督策略能在留出证据上达到规定可靠性,以及要付多少运营成本”。。

    Paper analysisRead analysis
  11. SRE-Bench: A Contamination-Free Real-Scale Benchmark for Agent Reverse Engineering

    提出 SRE-Bench 评测智能体的真实规模二进制逆向能力

    Published
    Evaluated models
    GPT-6-Astra, GPT-5.6-Sol, GPT-5.6-Cyber and others11
    AbstractSRE-Bench 用从零编写的大规模保护二进制评测智能体 RE,公开设置下多数模型完全解开比例不高。

    作者构建并评测 SRE-Bench,一个从零编写、用于测量智能体逆向工程而非利用开发的基准,并称它同时满足污染控制与真实软件规模。

    Paper analysisRead analysis
  12. CryptanalysisBench: Performance of five frontier models on 191 cryptanalysis tasks

    用 CryptanalysisBench 评测大模型的端到端密码分析能力

    Published
    Evaluated models
    Claude Opus 4.8, Claude Sonnet 5, Claude Mythos 5 and others10

    Abstract提出真实密码原语分析基准,证实前沿模型具备显著分析能力并能发现未公开设计缺陷。

    Paper analysisRead analysis
  13. AgentCyberRange:复旦团队发布真实网络靶场自主攻击能力基准

    构建真实网络靶场基准,评测 AI 的端到端自主攻击能力

    Published
    Evaluated models
    GPT-5.5, Claude-Opus-4.7, GLM-5.1 and others7

    Abstract构建开放多靶场评测基础设施 AGENTCYBERRANGE,测定前沿 AI 网络攻击能力并揭示其端到端规划短板。

    Paper analysisRead analysis
  14. 研究用 30 项漏洞分析任务评测自主安全智能体的安全对齐效果

    评测自主安全智能体在授权漏洞分析中的对齐拒答效应

    Published
    Evaluated models
    Gemma 4 31B official instruction-tuned model, TrevorJS Gemma 4 31B uncensored GGUF, Gemma 4 26B A4B official instruction-tuned model and others8
    Abstract轨迹级评测把拒答、接地、工具接口分开。

    这项工作把安全对齐效应测成自主安全智能体的轨迹属性,而不是单轮拒答率。

    Paper analysisRead analysis
  15. AttacksarXiv 2603.03919

    When Safety Becomes a Vulnerability: Exploiting LLM Alignment Homogeneity for Transferable Blocking Attacks in RAG

    提出 TabooRAG,用单篇文档迁移阻断 RAG 对良性查询的回答

    Published
    Evaluated models
    Llama-3-8B-Instruct, Ministral-3-8B-Instruct-2512, Gemma-3-12B-it and others9
    AbstractTabooRAG 用代理侧风险文档迁移阻断 RAG。

    TabooRAG 是面向 RAG 可用性的可迁移阻断攻击,不改已有文档,也不读取目标反馈。

    Paper analysisRead analysis
  16. 研究提出说服传播现象:无关说服性对话会改变 AI Agent 的任务执行行为

    测量任务无关说服对 Agent 编码与网页研究行为的影响

    Published
    Evaluated models
    gpt-4.1-nano, mistral-nemo-12b, llama-3.1-8b
    Abstract任务无关说服会在轨迹上留下任务相关的行为痕迹,但立场易感性不能稳定预测其幅度。

    这篇工作测量一件事:与任务无关的说服进入对话之后,AI 智能体执行后面的编码或网页研究时,轨迹是否系统性不同,以及“更容易被说服”能否预测差有多大。

    Paper analysisRead analysis
You have reached the end