跳到正文
10月12日 · 周一

全部论文

找到 35篇
筛选4

攻击类型

提示注入28投毒与后门10

攻击技术

自动化搜索7潜伏触发5

防御类型

模型加固3检测与过滤7指令与数据隔离4

影响

有害内容7越权操作94数据与隐私泄露14输出被操纵30可用性与可靠性5监督失效3

系统形态

LLM 应用7AI Agent26web agent4

攻击面/入口

用户输入67网页与界面19文档与消息28工具返回19工具与技能描述8代码仓库与依赖7检索语料28记忆写入8Agent 间消息10图像与音视频56训练数据39权重与梯度18分发渠道20推理服务与硬件9

层

应用层34

系统组件

记忆6RAG4护栏与评审5视觉3多模态3
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 240篇还没打标签，不在筛选结果里。
影响：输出被操纵影响：可用性与可靠性攻击面/入口：网页与界面攻击面/入口：工具返回清除全部

另有240篇论文还没打上分类标签，暂不在筛选结果里。

  2. 攻击arXiv 2610.11932

    复旦团队测量 AI 搜索引用脆弱性：普通发帖可进入引用与答案文本

    测量 AI 搜索引用脆弱性，证明普通公开发帖可进入引用与回答

    arXiv
    2610.11932
    发表
    层
    应用层
    场景
    LLM 应用
    被测模型
    Grok、Doubao、ChatGPT 等10个

    摘要作者称论文量化了 AI 搜索因引用偏好与低发帖门槛形成的漏洞，测试显示公开网络发帖可渗透 AI 引用，呼吁审计引用供应链。

    深度解读完整解读
  4. 防御arXiv 2610.08668

    SBW：面向 LLM 智能体的语义行为水印方法

    提出 SBW，为 LLM Agent 轨迹做抗改写与伪造的语义行为水印

    arXiv
    2610.08668
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Qwen2.5-3B-Instruct、LLaMA-3.2-3B、Qwen2.5-7B 等5个
    摘要SBW 在语义簇上做溯源水印，改写检测高于精确符号，链式重放仍开放。

    SBW 是免训练的智能体行为水印，把所有者标识放在离散动作选择上，而不是输出 token。

    深度解读完整解读
  5. 评测与基准arXiv 2610.03448

    研究重测 15 个提示注入检测器：基准分数难以预测 Agent 部署表现

    重测提示注入检测器在 Agent 工具输出上的检出与任务阻断

    arXiv
    2610.03448
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Horizon-Labs、Wolf Defender、Prismor-1.5B 等15个

    摘要论文揭示公开基准无法反映智能体检测器表现，检测能力源于输入格式相似而非通用防御，建议基于工具输出与低误报评测。

    深度解读完整解读
  6. 评测与基准arXiv 2610.06898

    DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准

    用 DIBench 评测移动 GUI 智能体被 UI 注入后的决策完整性

    arXiv
    2610.06898
    发表
    层
    应用层
    场景
    网页与电脑操作
    被测模型
    Qwen2.5-VL(32B)、Qwen3-VL(32B)、GUI-Owl(32B) 等7个

    摘要论文提出移动智能体决策完整性基准 DIBench，发现欺诈 UI 注入诱导目标选择并推高完成率，通用防御收益不稳定。

    深度解读完整解读
  7. 攻击arXiv 2609.28613

    研究：提示注入可改变 Jev 决策模型的行动概率

    测量间接提示注入对类型化概率决策的动作劫持

    arXiv
    2609.28613
    发表
    层
    应用层
    场景
    模型与 API
    被测模型
    jev-1.13.0
    摘要封闭动作集改变提示注入的表现，但没有去掉概率被不可信内容移动的风险。

    作者在 jev-1.13.0 上研究 decision hijacking：不可信内容能否在用户任务和可选动作都不变时，把类型化决策推向攻击者目标。

    深度解读完整解读
  8. 攻击arXiv 2609.28585

    论文提出持久计费状态概念，揭示工具调用 LLM Agent 的拒绝钱包攻击与防御

    定义工具调用 Agent 的持久计费状态，提出拒绝钱包攻击与防御

    arXiv
    2609.28585
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    GPT-4o、GPT-4o-mini、Mistral-Large 等7个
    摘要已准入工具返回的跨轮保留会重复计费。

    这篇工作把工具调用智能体里跨轮保留、并被提供商反复计费的外部工具返回定义为 persistent billable state，并把它的主机侧再次送入决定当作控制点。。

    深度解读完整解读
  11. 评测与基准arXiv 2609.19140

    AgentLSD：在对抗性任务污染下评测 AI 安全 Agent

    评测安全 Agent 在对抗性任务污染下的解题成功与开销

    arXiv
    2609.19140
    发表
    层
    应用层
    场景
    web agent
    被测模型
    Gemma-4 31B、DeepSeek-V4 Flash、GPT-OSS 120B 等6个
    摘要AgentLSD 用配对 web CTF 表明，欺骗性环境证据会改变安全智能体的解题率与工作量。

    AgentLSD 是一个对照框架，用来测量安全智能体在任务本身不变时，对对抗性任务污染的反应。

    深度解读完整解读
  12. 防御arXiv 2609.11757

    研究者披露 AP2 支付协议的 Whisper 提示注入攻击并提出 A-VIP 防御

    提出 AP2 支付协议的 Whisper 攻击与 A-VIP 绑定防御

    arXiv
    2609.11757
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    gemini-2.5-flash-lite、gemini-3.1-flash-lite、gemini-3-flash-preview 等15个

    摘要论文揭示了 AP2 协议决策层受操纵的风险，提出结构化与权能绑定防御 A-VIP，并发布评测基准。

    深度解读完整解读
  15. 评测与基准arXiv 2609.05587

    研究评测 14 个模型对不可靠工具的过度依赖

    用受控污染评测智能体对不可靠工具返回的过度依赖

    arXiv
    2609.05587
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Qwen3-235B、Qwen3-235B-Think、Qwen3-30B 等15个
    摘要三种工具的污染返回常被写入答案。

    作者评测 LLM 智能体是否会采纳不可靠的工具返回。现有工具基准多假定返回正确，而搜索综合、子智能体报告和代码执行都可能把错误内容交给智能体。评测只改答案相关内容。

    深度解读完整解读
  16. 评测与基准arXiv 2609.02316

    Counter-GEO-Bench：现有护栏难挡 GEO 虚假信息

    构建 COUNTER-GEO-BENCH，评测生成式搜索中的 GEO 虚假信息防御

    arXiv
    2609.02316
    发表
    层
    应用层
    场景
    LLM 应用
    被测模型
    Gemma-4-31B-IT、Qwen-3.5-35B-A3B、Llama-4-Scout-17B-16E 等8个

    摘要论文构建了针对 GEO 虚假信息的首个防御基准，揭示通用护栏的失效与反作用，并提出了有效的轻量对比检测基线。

    深度解读完整解读
加载更多