Skip to content

Translation in progress Some entries still include text in the original language.

Oct 12 · Monday

All papers

Found 19 papers

Another 240papers do not have category tags yet and are not included in filtered results.

  1. Too many skills: how co-installed skills conflict in coding agents

    评测编码 Agent 中相似技能共同安装对已装技能核心功能的替代

    Published
    Evaluated models
    claude-sonnet-4-6, claude-haiku-4-5-20251001, claude-opus-5 and others6
    Abstract冲突藏在任务成功后面。

    作者对共同安装、做同一件事的良性 skill 做实证研究,用核心功能是否还在,而不是任务过不过,来看冲突。。

    Paper analysisRead analysis
  2. AgentTime 基准测试智能体时长遵循能力,GPT-6 Astra 出现 14 次做完后休眠

    提出 AgentTime 基准,评测智能体按时长工作与估时能力

    Published
    Evaluated models
    Fable 5.1, GPT-5.6 Sol, GPT-6 Astra and others7
    Abstract作者把完成任务和管理所用时间分开。

    AgentTime 是对智能体时间自控的评测:预测任务耗时、按要求时长工作、事后估计已用时间。

    Paper analysisRead analysis
  3. ParanoiaEval:编码智能体不必要风险处置评测基准发布

    提出 ParanoiaEval 评测编码智能体的不必要风险处置

    Published
    Evaluated models
    Opus-5, Sonnet-5, Sonnet-4.6 and others8
    Abstract作者用证据受控任务对评测风险处置,称其普遍、独立于任务能力并降低满意度。

    作者提出 ParanoiaEval,并称它是编码智能体风险处置能力的首个统一基准。要解决的问题是:证据已经确定风险应如何处置之后,智能体仍可能扩大验证、增加保护或备份,而现有评测要么只看功能正确性,要么把相关行为拆开研究。做法是把 NIST 的 ATMA 落到仓库任务。

    Paper analysisRead analysis
  4. BazaarBench:评估 LLM Agent 在去中心化 C2C 市场中的代理安全

    构建 BazaarBench,评测 C2C 市场中 Agent 的违规与失信行为

    Published
    Evaluated models
    GPT-5.5, GPT-5.4, GPT-5.4-mini and others5
    Abstract论文提出挂钩底层资产的 C2C 交易评测基准,发现时间压力与对抗指令显著推高了智能体的违规承诺与欺诈行为。

    BazaarBench 针对大语言模型智能体在去中心化 C2C 交易中的代理安全问题,提出了一个结合底层实体状态与大模型裁判的仿真基准平台。

    Paper analysisRead analysis
  5. SWE-CC 基准:编码 Agent 功能正确仍违反 43.1% 仓库贡献规范

    提出 SWE-CC 基准,评测编码 Agent 对仓库贡献策略的遵守

    Published
    Evaluated models
    GPT-5.6 Luna, Gemini 3.7 Flash, DeepSeek V4 Flash 0731 and others4
    AbstractSWE-CC 中功能正确仍可能违规。

    SWE-CC 评测编码智能体是否遵守仓库贡献策略,而不只看补丁能否通过测试。

    Paper analysisRead analysis
  6. SceneFactory-3D:将 2D 交通场景提升为 3D 物理反事实以做安全评测

    提出 SceneFactory-3D,用路况反事实评测驾驶策略的闭环安全性

    Published
    Evaluated models
    Frozen L0, L0-T, L1 and others5
    AbstractSceneFactory-3D 固定场景只改路况。

    SceneFactory-3D 是 GPU 批处理的多智能体驾驶仿真器,用来在场景和控制器固定时只改路面物理,并比较闭环结果。

    Paper analysisRead analysis
  7. MADBench:多智能体辩论安全性评测基准发布

    提出 MADBench,评测多智能体辩论是吸收还是放大对抗影响

    Published
    Evaluated models
    gpt-4o, GPT-5, GPT-6 Astra
    AbstractMADBench 显示辩论能吸收部分准确率攻击,同时放大未授权读写。

    MADBench 是一个评测多智能体辩论安全性的基准,用来看攻击是被辩论吸收还是被放大。

    Paper analysisRead analysis
  8. Emergence World:对长时程多智能体系统开展对抗压力测试

    提出 Emergence World,对长时程多智能体系统开展对抗压力测试

    Published
    Evaluated models
    Claude Opus 4.8, DeepSeek v4 Pro, Gemini 3.5 Flash and others9

    Abstract作者通过长期平行世界实验指出模型对齐不具备可组合性,单模型群体会产生社会奉承、协同退缩及语言不透明等失效。

    Paper analysisRead analysis
  9. WolfSociety:金融智能体社会中有害智能体规模带来的集体风险

    提出 WolfBench,测量金融智能体社会中有害智能体规模带来的集体崩溃

    Published
    Evaluated models
    DeepSeek V3.2, GPT-4.1, Qwen3-235B and others6
    Abstract更大的金融智能体社会在更低有害比例上崩溃,但所需有害人数仍增加。

    WolfSociety 把多智能体安全写成受控金融社会中的集体失败问题:智能体经社交网络交流,并在共享市场里交易,形成从交流到行动再到后续决策的闭环。

    Paper analysisRead analysis
  10. READY:面向企业 Agent 部署的可靠性资格认证框架

    提出 READY 框架,认证企业 Agent 在人工监督下能否达到规定可靠性

    Published
    Evaluated models
    Opus 5, Sonnet 5, GPT-5.6-Sol and others15
    AbstractREADY 把工作流证据转成可检验的可靠性–监督–成本部署画像。

    READY 把“智能体能否自主完成工作”改写成“哪个人机监督策略能在留出证据上达到规定可靠性,以及要付多少运营成本”。。

    Paper analysisRead analysis
  11. 多智能体协同过滤系统的连接性攻击与防御研究

    复现 AgentCF 上的多智能体攻防并刻画连通性作用

    Published
    Evaluated models
    Qwen3-235B-A22B, Claude Haiku 4.5, Mixtral 8×7B and others4
    Abstract连通性沿 k 与ρ改变攻防,且用户/物品与早期/稳态需要分开看。

    作者在 AgentCF 上研究连通性如何改变多智能体协同过滤的攻防,复现已有方法而不是提出新载荷。

    Paper analysisRead analysis
  12. LegalHalluLens:面向法律 AI 的分类幻觉审计与校准多智能体辩论

    提出 LegalHalluLens,分类审计法律抽取幻觉并校准多智能体辩论

    Published
    Evaluated models
    gemini-3-flash, gpt-5.2, qwen3-32b and others5
    Abstract作者称类型画像与 RDI 能区分聚合率相近的系统,辩论主要减少虚构检出。

    LegalHalluLens 是一套法律条款抽取的审计框架,外加一个按审计结果校准的辩论缓解。。

    Paper analysisRead analysis
  13. 研究用 30 项漏洞分析任务评测自主安全智能体的安全对齐效果

    评测自主安全智能体在授权漏洞分析中的对齐拒答效应

    Published
    Evaluated models
    Gemma 4 31B official instruction-tuned model, TrevorJS Gemma 4 31B uncensored GGUF, Gemma 4 26B A4B official instruction-tuned model and others8
    Abstract轨迹级评测把拒答、接地、工具接口分开。

    这项工作把安全对齐效应测成自主安全智能体的轨迹属性,而不是单轮拒答率。

    Paper analysisRead analysis
  14. 研究复现五个前沿模型的包名幻觉:跨模型共同幻觉 127 个包名,53 个仍可被注册

    复评前沿模型代码生成中的包名幻觉与抢注攻击面

    Published
    Evaluated models
    Claude Sonnet 4.6, Claude Haiku 4.5, GPT-5.4-mini and others5

    Abstract评估显示前沿模型包幻觉率收窄但威胁仍在,作者识别出跨模型通用攻击面并呼吁联合防御。

    Paper analysisRead analysis
  15. Filtering the Noise: A Comparative Study of LLM Agents in Vulnerability False Positive Filtering

    评测代码 Agent 过滤静态告警误报的能力

    Published
    Evaluated models
    Claude Sonnet 4, DeepSeek Chat, GPT-5
    Abstract智能体可去掉大量 SAST 噪声,但收益随骨干和 CWE 变化,并会把部分真漏洞标成误报。

    这是对三种 LLM 智能体框架过滤 SAST 误报的比较研究。

    Paper analysisRead analysis
  16. 研究提出 CW-POR 指标衡量多智能体 LLM 辩论中的说服覆盖

    提出 CW-POR 衡量多智能体辩论中修辞说服对事实判断的覆盖

    Published
    Evaluated models
    LLaMA 3.2B, Mistral 7B, Granite 3.2 8B and others5
    Abstract作者用 CW-POR 把选错频率和置信合在一起,并称五款开源模型上修辞仍可压过事实。

    作者用单轮对抗辩论和 CW-POR,观察同族评委面对事实性解释与错误辩护时是否选错,以及选错时有多确信。

    Paper analysisRead analysis
You have reached the end