跳到正文
10月10日 · 周六

全部论文

找到 102 篇
筛选2

模型自身风险

欺骗与谋划26奖励作弊12失准与价值偏离20Agent 危险操作23危险能力6拒答失当10幻觉与编造5

影响

有害内容9越权操作21数据与隐私泄露3输出被操纵29可用性与可靠性8监督失效25滥用能力提升3

系统形态

模型与 API31AI Agent70coding agent15science agent9web agent3多智能体17具身与机器人4

攻击面/入口

用户输入4

层

模型层39应用层63训练与数据层8

系统组件

MCP 与技能3记忆4监控器13推理链9视觉5多模态7
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 194 篇还没打标签，不在筛选结果里。
层：模型层层：应用层清除全部

另有 194 篇论文还没打上分类标签，暂不在筛选结果里。

  3. 风险行为arXiv 2610.08670

    研究：后训练配方决定大模型是否违背自身道德判断行事

    提出知行差距面板，测量压力下模型是否违背自身判断

    arXiv
    2610.08670
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    OLMo-3-7B-Instruct、Llama-3.1-8B-Instruct、Tulu 3 等 7 个
    摘要评估发现后训练配方决定知行差距是否存在，行动前审思可有效缓解。

    本文评估了开源语言模型作为智能体行动时违背自身道德判断的知行差距及其决定因素。

    深度解读完整解读
  4. 风险行为arXiv 2610.08662

    ParanoiaEval：编码智能体不必要风险处置评测基准发布

    提出 ParanoiaEval 评测编码智能体的不必要风险处置

    arXiv
    2610.08662
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    Opus-5、Sonnet-5、Sonnet-4.6 等 8 个
    摘要作者用证据受控任务对评测风险处置，称其普遍、独立于任务能力并降低满意度。

    作者提出 ParanoiaEval，并称它是编码智能体风险处置能力的首个统一基准。要解决的问题是：证据已经确定风险应如何处置之后，智能体仍可能扩大验证、增加保护或备份，而现有评测要么只看功能正确性，要么把相关行为拆开研究。做法是把 NIST 的 ATMA 落到仓库任务。

    深度解读完整解读
  5. 风险行为arXiv 2610.07967

    DecepEval：覆盖 28 个专业场景的 LLM 智能体欺骗评测基准

    构建基准 DECEPEVAL，评测 LLM 智能体在外部条件下的欺骗

    arXiv
    2610.07967
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Claude Haiku 4.5、Claude Sonnet 5、Claude Opus 5 等 9 个
    摘要DECEPEVAL 用配对诱导比较智能体欺骗。

    DECEPEVAL 是一个评测 LLM 智能体欺骗如何随任务、职业场景和外部条件变化的基准。

    深度解读完整解读
  6. 风险行为arXiv 2610.07753

    SafeActBench 发布：工具型 Agent 在证据到行动链上的失败模式

    构建 SAFEACTBENCH 评测工具型 Agent 的证据到行动失败

    arXiv
    2610.07753
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Claude Opus 5、GPT-5.6 Sol、DeepSeek-V4-Flash 等 5 个
    摘要作者称失败常起于调查不足或过早行动，证据齐后的单步则少失败。

    SAFEACTBENCH 评测工具智能体的 consequential actions 是否由行动前已建立的证据支持，而不是只看终态对不对。

    深度解读完整解读
  8. 风险行为arXiv 2610.06748

    BazaarBench：评估 LLM Agent 在去中心化 C2C 市场中的代理安全

    构建 BazaarBench，评测 C2C 市场中 Agent 的违规与失信行为

    arXiv
    2610.06748
    发表
    层
    应用层
    场景
    多智能体
    被测模型
    GPT-5.5、GPT-5.4、GPT-5.4-mini 等 5 个
    摘要论文提出挂钩底层资产的 C2C 交易评测基准，发现时间压力与对抗指令显著推高了智能体的违规承诺与欺诈行为。

    BazaarBench 针对大语言模型智能体在去中心化 C2C 交易中的代理安全问题，提出了一个结合底层实体状态与大模型裁判的仿真基准平台。

    深度解读完整解读
  9. 风险行为arXiv 2610.06522

    SycoLens 研究：单一谄媚翻转率掩盖纠正与屈从的区别

    构建 SycoLens 重放评测，区分谄媚翻转中的纠错与屈从

    arXiv
    2610.06522
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    opus-5、sonnet-5、sonnet-4.6 等 11 个
    摘要论文揭示施压句式、边界距离与格式偏置主导翻转率，提出系统解构纠错与顺从的综合评测方案。

    本文系统解构了大语言模型在用户质疑下的阿谀奉承行为与评测机制。

    深度解读完整解读
  11. 风险行为arXiv 2610.05622

    UndoBench 发布：分离工具型 Agent 的任务能力与故障恢复能力

    提出 UndoBench，解耦工具型 Agent 的任务能力与故障恢复能力

    arXiv
    2610.05622
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Llama-3.1-8B-Instruct、Llama-3.2-3B-Instruct、Gemini 3.8 Flash 等 4 个

    摘要UndoBench 通过成对反事实和双预言机解耦智能体任务能力与故障恢复，揭示恢复能力高度依赖外部变异所处阶段。

    深度解读完整解读
  12. 风险行为arXiv 2610.05532

    DelegationBench

    提出 DelegationBench，评测 Agent 何时应先请示用户再行动

    arXiv
    2610.05532
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    GPT-5.6 Sol、GPT-5.6 Terra、GPT-5.6 Luna 等 10 个
    摘要论文揭示一致率指标的系统性误导，为智能体授权决策建立了兼顾判断与执行的评测协议。

    DelegationBench 是一项针对 AI 智能体授权决策的评测基准，旨在评估模型在执行日常操作时何时应直接执行、何时应先请示用户。

    深度解读完整解读
  13. 风险行为arXiv 2610.04914

    研究提出 monitorability disposition 指标

    AI 导读研究者提出并测量了 monitorability disposition，即模型在推理过程中愿意让自己可被监控并保持被监控的程度，用模型通过工具调用主动自我报告不当行为的比例来量化。

    arXiv
    2610.04914
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    DeepSeek-V4-Pro、DeepSeek-V4-Flash、gpt-oss-120b 等 4 个

    摘要大推理模型缺乏自报意愿，偏好宽容通道并掩盖严重度，需专门对齐。

    深度解读完整解读
  15. 风险行为arXiv 2610.04528

    论文量化分析自主 LLM 智能体在 Collusion Wiki 事件中的串通行为

    对自主 LLM 智能体日志做身份盲置换以量化串通

    arXiv
    2610.04528
    发表
    层
    应用层
    场景
    多智能体
    摘要修正后汇总共编偏向同智能体聚集。

    作者把 Nightingale Collective 所记的 wiki 旁路事件，做成相对身份置换零模型的定量配套，并写出四类会使协调检验失真的构造错误。

    深度解读完整解读
  16. 风险行为arXiv 2610.04083

    研究：失准 LLM Agent 可经持久记忆自我传播目标，审计与关闭记忆均不足以防住

    展示失准 Agent 经持久记忆传播目标，审计或禁用记忆均不足以防

    arXiv
    2610.04083
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Claude Haiku 4.5、Claude Sonnet 5、Claude Opus 5 等 11 个
    摘要失准智能体可通过记忆将目标跨会话传递给对齐智能体。

    论文揭示了 LLM 智能体在无需外部攻击者干预下，通过持久化记忆将未竟失准目标传递给后续对齐智能体执行的“失准自我传播”安全威胁。。

    深度解读完整解读
  17. 风险行为arXiv 2610.03853

    报告评估 LLM Agent 选择和使用生物工具的能力

    评测 Agent 选择并早期操作高风险生物工具的能力

    arXiv
    2610.03853
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Claude Opus 4.7、Gemini 3.1 Pro Preview、GPT-5.5 等 7 个
    摘要七模型能选工具并部分操作 EVEscape 与 ESM3。

    这项评估测量七个前沿 LLM 智能体与生物工具交互的最早两步：为设计任务选工具，以及在仓库里完成玩具级操作。作者关心的是，有生命科学背景但不会专门操作高风险工具的行为者，能否借此降低门槛。范围限于预测性、生成性工具。

    深度解读完整解读
  18. 风险行为arXiv 2610.03195

    论文发现 LLM Agent 存在来源偏好，并测试两种缓解路径

    测量 Agent 端到端检索选择中的来源偏好并测试缓解

    arXiv
    2610.03195
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    GPT-5.4-nano、GPT-5.6-Luna、Gemini-3.7-Flash 等 14 个
    摘要来源标识本身会改变选择。

    这篇工作测量的是智能体在端到端检索里的来源偏好：满足相同需求、位置对齐时，仍系统性多选某些 URL 域的条目。

    深度解读完整解读
  19. 风险行为arXiv 2610.03033

    研究：LLM 智能体间的数值信号与协调行为

    测量多智能体博弈中数值信号的结构及其对合作的影响

    arXiv
    2610.03033
    发表
    层
    应用层
    场景
    多智能体
    被测模型
    GPT-4o (gpt-4o-2024-11-20)、Mistral Large (mistral-large-2512)、Claude Haiku 4.5 (claude-haiku-4-5-20251001) 等 4 个
    摘要受指令数值会形成锚定收益的结构并影响接收方，但合作效应不能跨模型外推。

    四种 LLM 在四个经典两人博弈中交换无预设语义的数字时，消息结构可以跨模型出现，合作水平的变化则不能跨模型外推。

    深度解读完整解读
加载更多