Skip to content

Translation in progress Some entries still include text in the original language.

Oct 12 · Monday

All papers

Found 10 papers
Filter3
Select any value within a category; different categories must all match. Counts include the other filters you have selected.Another 233papers have no tags yet and are not included in filtered results.

Another 233papers do not have category tags yet and are not included in filtered results.

  1. One More Skill Installed: How Co-Installed Skills in Coding Agents Conflict

    评测编码 Agent 中相似技能共同安装对已装技能核心功能的替代

    Published
    Evaluated models
    claude-sonnet-4-6, claude-haiku-4-5-20251001, claude-opus-5 and others6
    Abstract冲突藏在任务成功后面。

    作者对共同安装、做同一件事的良性 skill 做实证研究,用核心功能是否还在,而不是任务过不过,来看冲突。。

    Paper analysisRead analysis
  2. AgentTime 基准测试智能体时长遵循能力,GPT-6 Astra 出现 14 次做完后休眠

    提出 AgentTime 基准,评测智能体按时长工作与估时能力

    Published
    Evaluated models
    Fable 5.1, GPT-5.6 Sol, GPT-6 Astra and others7
    Abstract作者把完成任务和管理所用时间分开。

    AgentTime 是对智能体时间自控的评测:预测任务耗时、按要求时长工作、事后估计已用时间。

    Paper analysisRead analysis
  3. ParanoiaEval:编码智能体不必要风险处置评测基准发布

    提出 ParanoiaEval 评测编码智能体的不必要风险处置

    Published
    Evaluated models
    Opus-5, Sonnet-5, Sonnet-4.6 and others8
    Abstract作者用证据受控任务对评测风险处置,称其普遍、独立于任务能力并降低满意度。

    作者提出 ParanoiaEval,并称它是编码智能体风险处置能力的首个统一基准。要解决的问题是:证据已经确定风险应如何处置之后,智能体仍可能扩大验证、增加保护或备份,而现有评测要么只看功能正确性,要么把相关行为拆开研究。做法是把 NIST 的 ATMA 落到仓库任务。

    Paper analysisRead analysis
  4. SWE-CC 基准:编码 Agent 功能正确仍违反 43.1% 仓库贡献规范

    提出 SWE-CC 基准,评测编码 Agent 对仓库贡献策略的遵守

    Published
    Evaluated models
    GPT-5.6 Luna, Gemini 3.7 Flash, DeepSeek V4 Flash 0731 and others4
    AbstractSWE-CC 中功能正确仍可能违规。

    SWE-CC 评测编码智能体是否遵守仓库贡献策略,而不只看补丁能否通过测试。

    Paper analysisRead analysis
  5. RAGStress:评测知识库退化下 RAG 鲁棒性的受控基准

    提出 RAGStress 受控基准,评测知识库退化下的 RAG

    Published
    Evaluated models
    Claude Sonnet 4, Claude Opus 4.6, DeepSeek R1 and others5
    Abstract作者用 RAGStress 比较五系统。

    RAGStress 是知识库损坏下的 RAG 受控压力测试。作者明确不把它当作模型排行榜。

    Paper analysisRead analysis
  6. PIDS-Bench:在过度防御、混淆与分布偏移下评测提示注入检测器

    提出 PIDS-Bench,评测提示注入检测器在过度防御与分布偏移下的表现

    Published
    Evaluated models
    TF-IDF + logistic regression, DistilBERT, DeBERTa-v3-FT and others7
    AbstractPIDS-Bench 显示高分布内 F1 仍会过度拦截外部来源的安全相关良性输入。

    PIDS-Bench 是一个冻结的检测器级基准,用来在固定阈值下同时看提示注入检测和良性误报。

    Paper analysisRead analysis
  7. FairMedAgent:临床 LLM 智能体公平性审计中的随机噪声下限

    用 FairMedAgent 测量临床智能体在输入不变时的动作不稳定性下限

    Published
    Evaluated models
    claude-haiku-4-5, claude-sonnet-5, llama3.1:8b-instruct and others7
    Abstract先测同一输入下的动作不一致率,再用它解读人口学翻转率。

    FairMedAgent 把临床智能体公平审计里的采样噪声单独量出来:输入不变时动作仍会改变,这个比率就是解读翻转率的下限。。

    Paper analysisRead analysis
  8. READY:面向企业 Agent 部署的可靠性资格认证框架

    提出 READY 框架,认证企业 Agent 在人工监督下能否达到规定可靠性

    Published
    Evaluated models
    Opus 5, Sonnet 5, GPT-5.6-Sol and others15
    AbstractREADY 把工作流证据转成可检验的可靠性–监督–成本部署画像。

    READY 把“智能体能否自主完成工作”改写成“哪个人机监督策略能在留出证据上达到规定可靠性,以及要付多少运营成本”。。

    Paper analysisRead analysis
  9. 研究用 30 项漏洞分析任务评测自主安全智能体的安全对齐效果

    评测自主安全智能体在授权漏洞分析中的对齐拒答效应

    Published
    Evaluated models
    Gemma 4 31B official instruction-tuned model, TrevorJS Gemma 4 31B uncensored GGUF, Gemma 4 26B A4B official instruction-tuned model and others8
    Abstract轨迹级评测把拒答、接地、工具接口分开。

    这项工作把安全对齐效应测成自主安全智能体的轨迹属性,而不是单轮拒答率。

    Paper analysisRead analysis
You have reached the end