跳到正文
10月9日 · 周五

全部论文

找到 18 篇
筛选3

攻击类型

提示注入6投毒与后门2拒绝服务1

攻击技术

自动化搜索1跨模态载荷1诱导选用1

模型自身风险

失准与价值偏离2Agent 危险操作3拒答失当1幻觉与编造2

防御类型

模型加固1推理时干预1检测与过滤2指令与数据隔离3权限与审批1

影响

越权操作8输出被操纵4可用性与可靠性4

系统形态

LLM 应用1AI Agent17编程 Agent3网页与电脑操作4多智能体3

攻击面/入口

网页与界面4工具返回3工具与技能描述2代码仓库与依赖1检索语料1记忆写入1图像与音视频1分发渠道2

层

提示层5模型层11应用层18训练与数据层7

系统组件

MCP 与技能3RAG1护栏与评审1推理链1视觉2多模态2

被测模型厂商

OpenAI253Qwen（阿里）200Anthropic166Google160DeepSeek132智谱 GLM98Meta96Kimi（月之暗面）79Mistral45MiniMax34xAI33Microsoft20NVIDIA10字节跳动9IBM7智源 BAAI6其他106
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 482 篇还没打标签，不在筛选结果里。
层：应用层被测模型厂商：NVIDIA被测模型厂商：字节跳动清除全部

另有 482 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 评测与基准arXiv 2610.06898

    DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准

    提出 DIBench，评测界面注入对移动智能体选择决策的操纵

    arXiv
    2610.06898
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    DoubaoSeed-1.6、Qwen2.5-VL(32B)、Qwen3-VL(32B) 等 7 个

    摘要论文提出移动智能体决策完整性基准 DIBench，发现欺诈 UI 注入诱导目标选择并推高完成率，通用防御收益不稳定。

    深度解读完整解读
  3. 防御arXiv 2610.03089

    COBRA：为计算机使用 Agent 防御分支引导攻击的双 LLM 架构

    提出 COBRA，用分支能力约束与代理拦截防御计算机使用 Agent 的分支引导攻击

    arXiv
    2610.03089
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    UI-TARS-1.5-7B、gpt-5、claude-sonnet-5 等 6 个

    摘要提出分支转向防御架构 COBRA，通过事前能力约束与边界代理消除分支转向攻击并兼顾效用。

    深度解读完整解读
  4. 攻击arXiv 2607.12340

    研究：LLM Agent 技能名幻觉率最高达 62%，可被抢注用于供应链攻击

    提出技能名称抢注攻击，利用智能体虚构技能名实施供应链劫持

    arXiv
    2607.12340
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Nemotron-Cascade-2 30B、GLM-4.5-Air、GPT-5.4-mini 等 10 个
    摘要研究证实智能体虚构技能名具有高发生率与可预测性，现有防御难以兼顾安全与效用，亟需注册表结构性防护。

    本研究系统揭示了大模型智能体技能推荐场景下的虚构技能名称安全风险，将其形式化为一种新型供应链抢注攻击。

    深度解读完整解读
  5. 评测与基准arXiv 2608.11727

    Harness-IF：评估编码 Agent 跨指令面的指令遵循能力

    提出 Harness-IF，按交付面评测编程 Agent 的指令遵循

    arXiv
    2608.11727
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Seed-2.0-Pro、Claude-Opus-4.7、GPT-5.5 等 12 个
    摘要规则级基准显示总分开高估反先验遵循，交付面优先序也不按提示词深度。

    Harness-IF 用执行证据给编程智能体的单条操作规则打分，并单独报告反对未提示默认的那一部分。。

    深度解读完整解读
  6. 评测与基准arXiv 2608.00711

    SCHEMA：面向科学 Agent 幻觉的拓扑感知评测框架

    提出 SCHEMA，用概念图与轨迹分评测科学 Agent 幻觉

    arXiv
    2608.00711
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Doubao-Seed-2.0-Pro、Kimi-K2.5、Qwen3.6-Plus 等 10 个
    摘要SCHEMA 用知识拓扑评估科学智能体幻觉，终答正确仍可能来自有缺陷的中间推理。

    SCHEMA 是面向科学智能体幻觉的证据锚定评测框架，实例化在生物医学的 Protein Domain 与 PathVQA-Enhanced。作者在摘要中称它是首个同时做到证据锚定和拓扑感知的此类框架。

    深度解读完整解读
  7. 评测与基准arXiv 2609.02316

    Counter-GEO-Bench：现有护栏难挡 GEO 虚假信息

    构建 COUNTER-GEO-BENCH，评测生成式搜索中的 GEO 虚假信息防御

    arXiv
    2609.02316
    发表
    层
    应用层
    场景
    LLM 应用
    测试
    NeMo Guardrails、Gemma-4-31B-IT、Qwen-3.5-35B-A3B 等 11 个

    摘要论文构建了针对 GEO 虚假信息的首个防御基准，揭示通用护栏的失效与反作用，并提出了有效的轻量对比检测基线。

    深度解读完整解读
  8. 防御arXiv 2608.03485

    SkillSentry：用自适应蜜罐世界动态检测 Agent 技能安全

    提出 SkillSentry，用自适应蜜罐世界在安装前审计 Agent 技能

    arXiv
    2608.03485
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Doubao、DeepSeek-V4-Pro、Qwen 等 4 个
    摘要契约加配对执行审计技能越权。

    SkillSentry 是安装前的动态技能审计，用来发现超出宣称功能的能力漂移。技能一旦安装，就能使用宿主的文件、shell、凭证和网络，而有害分支可能要等特定资源才出现。作者认为，源码或一次性语义判断既不能确认分支会执行，也不能把技能造成的效果与任务或基座智能体的动作分开。

    深度解读完整解读
  11. 风险行为arXiv 2609.35928

    论文发现暴露模型身份标签会削弱多智能体 LLM 合作

    测量公开模型家族标签引发的多智能体派系化与合作下降

    arXiv
    2609.35928
    发表
    层
    应用层
    场景
    多智能体
    测试
    Nemotron (NVIDIA-Nemotron-3-Nano-30B-A3B-BF16)、Seed-OSS (Seed-OSS-36B-Instruct)、Gemma (gemma-4-26B-A4B-it) 等 6 个
    摘要可见身份标签让异构 LLM 群体按标签结派，共识更慢、更贵，去掉标签后该行为消失。

    Del Giudice 等人研究异构多智能体 LLM 系统里一个配置细节：把模型家族身份告诉智能体，会不会改变合作。他们把由此出现的、按身份结组的倾向称为 factionalism。任务是无利害的共同决策，没有人设，也没有偏向同家族同伴的奖励。

    深度解读完整解读
  12. 其他arXiv 2609.39982

    Mid-Harness：在模型与 Harness 之间扩展终端智能体的动作采样

    提出 Mid-Harness，在执行前验证并选择终端智能体的候选动作

    arXiv
    2609.39982
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Nemotron3.5 Lightning、Nemotron3 Ultra、TMAX-9B 等 8 个
    摘要Mid-Harness 在执行前选择候选动作。

    Mid-Harness 在不改生成器和执行 harness 的前提下，于二者之间做动作级测试时计算，用来研究终端智能体里“多采样、再验证”何时提高轨迹成功。

    深度解读完整解读
  13. 分析与理论arXiv 2609.38324

    研究：多智能体讨论中异议被压制时收益下降

    用意见动力学模型解释多智能体讨论何时优于多数投票

    arXiv
    2609.38324
    发表
    层
    应用层
    场景
    多智能体
    测试
    nemotron、glm-flash、seed 等 9 个
    摘要讨论增益由压抑率相对 c∗=γ/(γ+a) 的裕度决定，关闭推理或减少压抑可增大该增益。

    作者用一个只含四类行为的意见动力学，解释 LLM 团队讨论何时优于多数投票、何时停在错误共识。

    深度解读完整解读
  14. 攻击arXiv 2609.28585

    论文提出持久计费状态概念，揭示工具调用 LLM Agent 的拒绝钱包攻击与防御

    提出工具调用 Agent 的拒绝钱包攻击及主机侧计费约束

    arXiv
    2609.28585
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Nemotron-120B、GPT-4o、GPT-4o-mini 等 9 个
    摘要已准入工具返回的跨轮保留会重复计费。

    这篇工作把工具调用智能体里跨轮保留、并被提供商反复计费的外部工具返回定义为 persistent billable state，并把它的主机侧再次送入决定当作控制点。。

    深度解读完整解读
  16. 防御arXiv 2609.35932

    同字节不同权限：保留 token 表示如何放大聊天模板提示注入

    证明保留词元表示放大模板注入并验证分词缓解

    arXiv
    2609.35932
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Seed-OSS-36B-Instruct、Qwen3-8B、Qwen3-32B 等 6 个

    摘要对话模板注入的权威性主要来自保留词元的学得向量而非文本语法，推理具有补偿作用，现有分词防御遗留工具协议漏洞。

    深度解读完整解读
  17. 防御arXiv 2609.03438

    CONFLICTGUI 基准与 CONFLICTGUARD 框架：让多模态 GUI Agent 学会在冲突指令下终止执行

    AI 导读作者提出 CONFLICTGUI 基准，覆盖指令内部冲突与指令和 GUI 上下文冲突两类场景，用于研究 GUI Agent 的冲突感知终止能力。

    arXiv
    2609.03438
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    UI-TARS-1.5-7B、UI-Venus-1.5-8B、OS-Atlas-Base-7B 等 10 个
    摘要ConflictGUI 暴露 GUI 智能体的执行偏向过度服从，ConflictGuard 用条件转向提高冲突终止率。

    ConflictGuard用推理时的可行性核验和条件激活转向，让 GUI 智能体在指令不可行时终止，而不是盲执行。

    深度解读完整解读
  18. 评测与基准arXiv 2609.33658

    AgentBound：面向工具型 LLM Agent 安全的四路反事实评测框架

    提出四向反事实评测，测量工具 Agent 对授权与表面风险的行动边界

    arXiv
    2609.33658
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Nemotron-Nano-9B-v2、GPT-5.5、Claude Opus 4.8 等 15 个
    摘要四向反事实基准把过度拒绝和未授权遵从拆开，Thought 校正在十个配置上提高已授权完成。

    AGENT BOUNDARY 是面向工具使用 LLM 智能体的四向可执行反事实评测，并附带一个决策时 Thought 校准模块。

    深度解读完整解读
已经到底了