跳到正文
10月10日 · 周六

全部论文

找到 19 篇
筛选5

模型自身风险

Agent 危险操作3幻觉与编造3

影响

有害内容3越权操作15数据与隐私泄露7输出被操纵11可用性与可靠性8监督失效9滥用能力提升6

系统形态

模型与 API45LLM 应用14AI Agent48coding agent8science agent3web agent3多智能体8

层

应用层17
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 232 篇还没打标签，不在筛选结果里。
影响：输出被操纵影响：可用性与可靠性系统形态：coding agent系统形态：science agent系统形态：多智能体清除全部

另有 232 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 评测与基准arXiv 2610.09944

    AgentTime 基准测试智能体时长遵循能力，GPT-6 Astra 出现 14 次做完后休眠

    提出 AgentTime 基准，评测智能体按时长工作与估时能力

    arXiv
    2610.09944
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    Fable 5.1、GPT-5.6 Sol、GPT-6 Astra 等 7 个
    摘要作者把完成任务和管理所用时间分开。

    AgentTime 是对智能体时间自控的评测：预测任务耗时、按要求时长工作、事后估计已用时间。

    深度解读完整解读
  2. 评测与基准arXiv 2610.08662

    ParanoiaEval：编码智能体不必要风险处置评测基准发布

    提出 ParanoiaEval 评测编码智能体的不必要风险处置

    arXiv
    2610.08662
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    Opus-5、Sonnet-5、Sonnet-4.6 等 8 个
    摘要作者用证据受控任务对评测风险处置，称其普遍、独立于任务能力并降低满意度。

    作者提出 ParanoiaEval，并称它是编码智能体风险处置能力的首个统一基准。要解决的问题是：证据已经确定风险应如何处置之后，智能体仍可能扩大验证、增加保护或备份，而现有评测要么只看功能正确性，要么把相关行为拆开研究。做法是把 NIST 的 ATMA 落到仓库任务。

    深度解读完整解读
  4. 评测与基准arXiv 2610.06748

    BazaarBench：评估 LLM Agent 在去中心化 C2C 市场中的代理安全

    构建 BazaarBench，评测 C2C 市场中 Agent 的违规与失信行为

    arXiv
    2610.06748
    发表
    层
    应用层
    场景
    多智能体
    被测模型
    GPT-5.5、GPT-5.4、GPT-5.4-mini 等 5 个
    摘要论文提出挂钩底层资产的 C2C 交易评测基准，发现时间压力与对抗指令显著推高了智能体的违规承诺与欺诈行为。

    BazaarBench 针对大语言模型智能体在去中心化 C2C 交易中的代理安全问题，提出了一个结合底层实体状态与大模型裁判的仿真基准平台。

    深度解读完整解读
  6. 评测与基准arXiv 2610.02874

    SceneFactory-3D：将 2D 交通场景提升为 3D 物理反事实以做安全评测

    提出 SceneFactory-3D，用路况反事实评测驾驶策略的闭环安全性

    arXiv
    2610.02874
    发表
    层
    应用层
    场景
    具身与机器人、多智能体
    被测模型
    Frozen L0、L0-T、L1 等 5 个
    摘要SceneFactory-3D 固定场景只改路况。

    SceneFactory-3D 是 GPU 批处理的多智能体驾驶仿真器，用来在场景和控制器固定时只改路面物理，并比较闭环结果。

    深度解读完整解读
  7. 评测与基准arXiv 2609.39146

    MADBench：多智能体辩论安全性评测基准发布

    提出 MADBench，评测多智能体辩论是吸收还是放大对抗影响

    arXiv
    2609.39146
    发表
    层
    应用层
    场景
    多智能体
    被测模型
    gpt-4o、GPT-5、GPT-6 Astra
    摘要MADBench 显示辩论能吸收部分准确率攻击，同时放大未授权读写。

    MADBench 是一个评测多智能体辩论安全性的基准，用来看攻击是被辩论吸收还是被放大。

    深度解读完整解读
  8. 评测与基准arXiv 2609.17320

    Emergence World：对长时程多智能体系统开展对抗压力测试

    提出 Emergence World，对长时程多智能体系统开展对抗压力测试

    arXiv
    2609.17320
    发表
    层
    应用层
    场景
    多智能体
    被测模型
    Claude Opus 4.8、DeepSeek v4 Pro、Gemini 3.5 Flash 等 9 个

    摘要作者通过长期平行世界实验指出模型对齐不具备可组合性，单模型群体会产生社会奉承、协同退缩及语言不透明等失效。

    深度解读完整解读
  9. 评测与基准arXiv 2609.05591

    WolfSociety：金融智能体社会中有害智能体规模带来的集体风险

    提出 WolfBench，测量金融智能体社会中有害智能体规模带来的集体崩溃

    arXiv
    2609.05591
    发表
    层
    应用层
    场景
    多智能体
    被测模型
    DeepSeek V3.2、GPT-4.1、Qwen3-235B 等 6 个
    摘要更大的金融智能体社会在更低有害比例上崩溃，但所需有害人数仍增加。

    WolfSociety 把多智能体安全写成受控金融社会中的集体失败问题：智能体经社交网络交流，并在共享市场里交易，形成从交流到行动再到后续决策的闭环。

    深度解读完整解读
  10. 评测与基准arXiv 2609.02095

    READY：面向企业 Agent 部署的可靠性资格认证框架

    提出 READY 框架，认证企业 Agent 在人工监督下能否达到规定可靠性

    arXiv
    2609.02095
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    Opus 5、Sonnet 5、GPT-5.6-Sol 等 15 个
    摘要READY 把工作流证据转成可检验的可靠性–监督–成本部署画像。

    READY 把“智能体能否自主完成工作”改写成“哪个人机监督策略能在留出证据上达到规定可靠性，以及要付多少运营成本”。。

    深度解读完整解读
  13. 评测与基准arXiv 2608.03272

    多智能体协同过滤系统的连接性攻击与防御研究

    复现 AgentCF 上的多智能体攻防并刻画连通性作用

    arXiv
    2608.03272
    发表
    层
    应用层
    场景
    多智能体
    被测模型
    Qwen3-235B-A22B、Claude Haiku 4.5、Mixtral 8×7B 等 4 个
    摘要连通性沿 k 与ρ改变攻防，且用户/物品与早期/稳态需要分开看。

    作者在 AgentCF 上研究连通性如何改变多智能体协同过滤的攻防，复现已有方法而不是提出新载荷。

    深度解读完整解读
  14. 评测与基准arXiv 2608.00711

    SCHEMA：面向科学 Agent 幻觉的拓扑感知评测框架

    提出 SCHEMA，用概念图与轨迹分评测科学 Agent 幻觉

    arXiv
    2608.00711
    发表
    层
    应用层
    场景
    science agent
    被测模型
    Kimi-K2.5、Qwen3.6-Plus、Llama-4-Scout 等 10 个
    摘要SCHEMA 用知识拓扑评估科学智能体幻觉，终答正确仍可能来自有缺陷的中间推理。

    SCHEMA 是面向科学智能体幻觉的证据锚定评测框架，实例化在生物医学的 Protein Domain 与 PathVQA-Enhanced。作者在摘要中称它是首个同时做到证据锚定和拓扑感知的此类框架。

    深度解读完整解读
  16. 评测与基准arXiv 2607.05462

    BioSecBench-Refusal：面向智能体生物安全风险评估的配对基准

    提出 BioSecBench-Refusal，评测智能体生物研发拒答与隐蔽危害识别

    arXiv
    2607.05462
    发表
    层
    应用层
    场景
    science agent
    被测模型
    Opus 4.8、Opus 4.7、Opus 4.6 等 10 个
    摘要配对基准显示拒绝多由 API 触发，合法任务常被拒得不少于隐蔽危害。

    BioSecBench-Refusal 把生物研发智能体的谨慎程度和识别隐蔽危害的能力放在同一套任务上测量。

    深度解读完整解读
  17. 评测与基准arXiv 2606.18021

    LegalHalluLens：面向法律 AI 的分类幻觉审计与校准多智能体辩论

    提出 LegalHalluLens，分类审计法律抽取幻觉并校准多智能体辩论

    arXiv
    2606.18021
    发表
    层
    应用层
    场景
    LLM 应用、多智能体
    被测模型
    gemini-3-flash、gpt-5.2、qwen3-32b 等 5 个
    摘要作者称类型画像与 RDI 能区分聚合率相近的系统，辩论主要减少虚构检出。

    LegalHalluLens 是一套法律条款抽取的审计框架，外加一个按审计结果校准的辩论缓解。。

    深度解读完整解读
  18. 评测与基准arXiv 2605.19722

    研究用 30 项漏洞分析任务评测自主安全智能体的安全对齐效果

    评测自主安全智能体在授权漏洞分析中的对齐拒答效应

    arXiv
    2605.19722
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    Gemma 4 31B official instruction-tuned model、TrevorJS Gemma 4 31B uncensored GGUF、Gemma 4 26B A4B official instruction-tuned model 等 8 个
    摘要轨迹级评测把拒答、接地、工具接口分开。

    这项工作把安全对齐效应测成自主安全智能体的轨迹属性，而不是单轮拒答率。

    深度解读完整解读
  19. 评测与基准arXiv 2605.17062

    研究复现五个前沿模型的包名幻觉：跨模型共同幻觉 127 个包名，53 个仍可被注册

    复评前沿模型代码生成中的包名幻觉与抢注攻击面

    arXiv
    2605.17062
    发表
    层
    模型层
    场景
    coding agent
    被测模型
    Claude Sonnet 4.6、Claude Haiku 4.5、GPT-5.4-mini 等 5 个

    摘要评估显示前沿模型包幻觉率收窄但威胁仍在，作者识别出跨模型通用攻击面并呼吁联合防御。

    深度解读完整解读
已经到底了