跳到正文
10月9日 · 周五

全部论文

找到 32 篇
筛选7

模型自身风险

危险能力7

影响

有害内容9越权操作135数据与隐私泄露38输出被操纵50可用性与可靠性24监督失效39滥用能力提升8

系统形态

模型与 API12LLM 应用3AI Agent32coding agent7网页与电脑操作0具身与机器人3

层

应用层29训练与数据层3

系统组件

记忆3护栏与评审3
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 538 篇还没打标签，不在筛选结果里。
影响：可用性与可靠性影响：滥用能力提升系统形态：AI Agent系统形态：coding agent系统形态：网页与电脑操作层：应用层层：训练与数据层清除全部

另有 538 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 分析与理论arXiv 2610.06191

    研究：工具型智能体判断结果无用却仍继续检索，强制整合步骤可纠正

    揭示工具型智能体判定无用后仍不停止检索，并检验强制整合纠正效果

    arXiv
    2610.06191
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Qwen2.5-7B、Llama-3.1-8B、Qwen3-8B 等 7 个
    摘要论文揭示智能体判定工具失效却无法转化为停止行动，证实通过框架规则强制整合判定可提升表现。

    本文针对智能体在工具静默失效时过度检索的问题，系统分析了判定、信念与停止行动之间的解耦现象，并提出了外部规则整合方案。

    深度解读完整解读
  4. 评测与基准arXiv 2610.02874

    SceneFactory-3D：将 2D 交通场景提升为 3D 物理反事实以做安全评测

    提出 SceneFactory-3D，用路况反事实评测驾驶策略的闭环安全性

    arXiv
    2610.02874
    发表
    层
    应用层
    场景
    具身与机器人、多智能体
    被测模型
    Frozen L0、L0-T、L1 等 5 个
    摘要SceneFactory-3D 固定场景只改路况。

    SceneFactory-3D 是 GPU 批处理的多智能体驾驶仿真器，用来在场景和控制器固定时只改路面物理，并比较闭环结果。

    深度解读完整解读
  5. 评测与基准arXiv 2610.03448

    研究重测 15 个提示注入检测器：基准分数难以预测 Agent 部署表现

    重测提示注入检测器在 Agent 工具输出上的检出与任务阻断

    arXiv
    2610.03448
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Horizon-Labs、Wolf Defender、Prismor-1.5B 等 15 个

    摘要论文揭示公开基准无法反映智能体检测器表现，检测能力源于输入格式相似而非通用防御，建议基于工具输出与低误报评测。

    深度解读完整解读
  6. 评测与基准arXiv 2609.40111

    Agent Error Dataset 发布 5 万条错误诊断配对，用于失败分析与错误感知后训练

    构建 Agent Error Dataset，把智能体自然失败转为诊断与修复训练数据

    arXiv
    2609.40111
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Qwen3-8B
    摘要AED 把自然失败做成诊断与修正数据。

    AED是一个面向文本智能体的错误–诊断集合，用来把失败轨迹转成可分析、可训练的诊断与修正，而不是只保留最终奖励。

    深度解读完整解读
  8. 评测与基准arXiv 2609.38604

    Drift-Bench++：在沟通失误与意图漂移下评测交互式意图对齐

    提出 Drift-Bench++ 评测 Agent 在错位沟通和意图漂移下的对齐

    arXiv
    2609.38604
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    DeepSeek-V4-Pro、五个 LLM backbone（Figure 3，论文未在正文逐一列出名称）
    摘要Drift-Bench++ 用可执行错位和静默漂移评测交互意图对齐，澄清有帮助但仍有差距。

    Drift-Bench++ 是面向 Interactive Intent Alignment 的可执行基准：智能体要在用户说错、目标会变、耐心有限时，持续跟上当前意图。

    深度解读完整解读
  9. 风险行为arXiv 2609.35381

    研究：MCP 错误信息面向开发者，能力越强的 Agent 受损越大

    测量面向开发者的 MCP 错误信息对工具调用 Agent 恢复的影响

    arXiv
    2609.35381
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    GPT-5.5、GPT-5.6 Sol、GPT-6 Sol 等 5 个
    摘要面向开发者的 MCP 错误步骤会让只能调用工具的智能体停手。

    MCP 错误信息里的下一步常常按人类开发者来写，而只能调用服务器工具的智能体会照着做。做不到就结束回合。作者先统计这类文本，再在 BFCL V4 上只更换错误文本，看回合状态能否回到参考调用之后。

    深度解读完整解读
  10. 风险行为arXiv 2609.35928

    论文发现暴露模型身份标签会削弱多智能体 LLM 合作

    发现暴露模型家族标签会让多智能体派系化并削弱合作

    arXiv
    2609.35928
    发表
    层
    应用层
    场景
    多智能体
    被测模型
    Gemma (gemma-4-26B-A4B-it)、GPT-OSS (gpt-oss-20b)、Nemotron (NVIDIA-Nemotron-3-Nano-30B-A3B-BF16) 等 6 个
    摘要可见身份标签让异构 LLM 群体按标签结派，共识更慢、更贵，去掉标签后该行为消失。

    Del Giudice 等人研究异构多智能体 LLM 系统里一个配置细节：把模型家族身份告诉智能体，会不会改变合作。他们把由此出现的、按身份结组的倾向称为 factionalism。任务是无利害的共同决策，没有人设，也没有偏向同家族同伴的奖励。

    深度解读完整解读
  11. 评测与基准arXiv 2609.33658

    AgentBound：面向工具型 LLM Agent 安全的四路反事实评测框架

    提出 AGENT BOUNDARY，用四向反事实任务评测工具智能体行动边界

    arXiv
    2609.33658
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    GPT-5.5、Claude Opus 4.8、Gemini 3.5 Flash 等 15 个
    摘要四向反事实基准把过度拒绝和未授权遵从拆开，Thought 校正在十个配置上提高已授权完成。

    AGENT BOUNDARY 是面向工具使用 LLM 智能体的四向可执行反事实评测，并附带一个决策时 Thought 校准模块。

    深度解读完整解读
  14. 攻击arXiv 2609.28585

    论文提出持久计费状态概念，揭示工具调用 LLM Agent 的拒绝钱包攻击与防御

    定义工具调用 Agent 的持久计费状态，提出拒绝钱包攻击与防御

    arXiv
    2609.28585
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    GPT-4o、GPT-4o-mini、Mistral-Large 等 7 个
    摘要已准入工具返回的跨轮保留会重复计费。

    这篇工作把工具调用智能体里跨轮保留、并被提供商反复计费的外部工具返回定义为 persistent billable state，并把它的主机侧再次送入决定当作控制点。。

    深度解读完整解读
  17. 攻击arXiv 2609.22711

    UBA-ORL：针对离线强化学习的遗忘激活后门攻击

    提出 UBA-ORL，以 BD/CM 样本在遗忘后激活离线 RL 后门

    arXiv
    2609.22711
    发表
    层
    训练与数据层
    场景
    具身与机器人
    被测模型
    TD3+BC、BCQ、IQL
    摘要UBA-ORL 用竞争的 BD/CM 样本，使离线 RL 后门在删除伪装轨迹后激活。

    UBA-ORL 研究离线强化学习中由合规轨迹删除激活的后门：合法贡献者同时上传共享触发的后门轨迹和伪装轨迹，训练后触发响应被压低，删除伪装批次后再升高。受害系统是使用静态数据集和轨迹级遗忘接口的离线 RL 服务。对手不能看到训练算法、参数、梯度或具体遗忘算法，但能提交可区分批次，并在部署时向观测注入预定触发。

    深度解读完整解读
  18. 评测与基准arXiv 2609.19140

    AgentLSD：在对抗性任务污染下评测 AI 安全 Agent

    评测安全 Agent 在对抗性任务污染下的解题成功与开销

    arXiv
    2609.19140
    发表
    层
    应用层
    场景
    web agent
    被测模型
    Gemma-4 31B、DeepSeek-V4 Flash、GPT-OSS 120B 等 6 个
    摘要AgentLSD 用配对 web CTF 表明，欺骗性环境证据会改变安全智能体的解题率与工作量。

    AgentLSD 是一个对照框架，用来测量安全智能体在任务本身不变时，对对抗性任务污染的反应。

    深度解读完整解读
  19. 攻击arXiv 2609.15383

    微软团队提出 capability laundering 攻击：弱模型拆分任务向对齐前沿模型套取能力

    提出能力洗钱攻击，拆分任务向对齐模型套取能力

    arXiv
    2609.15383
    发表
    层
    应用层
    场景
    AI Agent
    攻击者
    黑盒
    被测模型
    GPT-5.5、Claude Opus 4.8、Grok-4.3 等 7 个

    摘要作者提出了能力洗钱攻击，发现未对齐编排器分解咨询对齐模型可恢复能力差距，指出需建立跨会话防御。

    深度解读完整解读
加载更多