跳到正文
原文

深度研究智能体的安全:攻击面、防御、基准与针对研究规划的议程播种

Security of Deep Research Agents: Attack Surface, Defenses, Benchmarks, and Agenda Seeding against Research Planning

arXiv:其他 AI 安全论文· arXiv:2611.20045· Yang Luo, Guangpu Chen, Yichen Liu, Zhaoyu Chen, Yifeng Gao, Zhiyang Ding, Qingni Shen, Zhonghai WuPeking University本站收录· 2 天前· 原文发表入选 攻击· 扫描记录里的位置 →精选关注度38

论文速读

攻击

据论文 PDF 整理(AI 生成),以原文为准

作者系统化深度研究智能体安全研究并提出 agenda seeding 攻击;在沙盒 3,520 次运行中,目标产品成为首选的比例达 16.0%–28.0%,GEO 与提示注入近乎无效。

威胁模型攻击者能力 C1:可发布自己的网页,但不知道用户的具体查询、不能控制搜索排名,也不知道智能体所用模型与提示词;预算为在 3 个新域名上发布 3 个新页面。

问题
深度研究智能体自动检索开放网页并生成带引用的报告,报告常被直接当作研究结论,但相关安全研究分散、术语与威胁模型不一,规划阶段尤其缺乏研究。
方法
作者按检索、规划、证据整合、报告生成四阶段系统化该领域,给出威胁模型、攻击与防御分类、基准综述和 34 篇文献编码,并提出不含任何指令、只引入虚构评测指标的 agenda seeding 攻击,在离线沙盒中与 GEO、提示注入同预算对比。
实验与结果
3,520 次沙盒运行中,agenda seeding 使目标产品以 16.0%(稠密)和 28.0%(稀疏)成为首选,GEO 与注入近乎无效;注入检测与根查询锚定对它无效,verification prompting 有效但损害效用,作者提出的 provenance tagging 保效用但可被多站点诱饵绕过。
局限与可以继续做的
作者指出语料由单一模型生成、规模远小于真实网络、排序器是 BM25 而非商业搜索引擎,被测智能体结构简单,每条件仅 20–160 次运行,结果只证明可行性而非真实系统上的成功率。
实验设置Qwen3.8-Flash、DeepSeek-V4.1-Flash 等 · 自建离线沙盒(20 个虚构品类、360 个良性页面、BM25 检索) · target top-pick rate、best top-pick rate 等
威胁模型
攻击者能力 C1:可发布自己的网页,但不知道用户的具体查询、不能控制搜索排名,也不知道智能体所用模型与提示词;预算为在 3 个新域名上发布 3 个新页面。受害系统为沙盒中循环执行规划、检索、整合的三轮研究智能体,攻击目标是让报告把攻击者产品列为 TOP PICK。
被测模型
Qwen3.8-FlashDeepSeek-V4.1-FlashKimi-K3
基准
自建离线沙盒(20 个虚构品类、360 个良性页面、BM25 检索)
指标
target top-pick ratebest top-pick ratemean target rankplanning hijack rateagenda adoption rate
AI 导读和推荐理由北京大学团队在 arXiv 发表论文,系统梳理深度研究智能体的安全研究,并提出无需写入指令的议程播种(agenda seeding)攻击。论文按检索、规划、证据整合、报告生成四阶段建立统一威胁模型与攻击、防御分类,综述 9 个安全基准;对 34 项主要研究的编码显示,仅 26.5% 涉及规划阶段,且没有研究对商业产品做过端到端投毒评估。议程播种攻击只在结论与主流一致的购物指南中引入一个虚构评价指标,并另发目标产品在该指标上领先的页面。在 3520 次同预算沙盒研究运行中,生成式引擎优化(GEO)与提示注入几乎无效,议程播种使攻击者目标在 16% 到 28% 的报告中成为首选;注入检测与查询锚定对其失效,验证提示会损害实用性,论文提出的来源标记(provenance tagging)能保持实用性但可被多站点诱饵绕过。论文最后提出八个研究方向。

北京大学团队在 arXiv 发表论文,系统梳理深度研究智能体的安全研究,并提出无需写入指令的议程播种(agenda seeding)攻击。论文按检索、规划、证据整合、报告生成四阶段建立统一威胁模型与攻击、防御分类,综述 9 个安全基准;对 34 项主要研究的编码显示,仅 26.5% 涉及规划阶段,且没有研究对商业产品做过端到端投毒评估。议程播种攻击只在结论与主流一致的购物指南中引入一个虚构评价指标,并另发目标产品在该指标上领先的页面。在 3520 次同预算沙盒研究运行中,生成式引擎优化(GEO)与提示注入几乎无效,议程播种使攻击者目标在 16% 到 28% 的报告中成为首选;注入检测与查询锚定对其失效,验证提示会损害实用性,论文提出的来源标记(provenance tagging)能保持实用性但可被多站点诱饵绕过。论文最后提出八个研究方向。

推荐理由系统梳理34项研究指出规划阶段被系统性低估,并用3520次沙盒运行显示无指令的议程播种攻击强于提示注入,注入检测与查询锚定对其失效。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    系统化深度研究智能体(DR agent)安全研究,并实证检验被忽视的规划阶段是否可被无指令攻击操纵。

    核心问题:深度研究智能体自动检索开放网页并生成带引用的报告,报告常被直接当作研究结论,但这一领域的安全研究分散、威胁模型不一,规划阶段几乎无人研究。

    • 问题场景:DR agent 代替用户阅读大量网页,任何能把内容放进其检索结果的人都能影响用户当作结论的报告(第 1 节)。作者称,2025 年以来的初步研究已使这一风险具体化,如 WARP 改约 13 个词即可被 57%–76% 的运行检索。
    • 现有研究不足:相关工作分散在安全、NLP、IR 等 venue,术语、威胁模型和指标各异;已有综述只关注能力或把检索当作众多不可信输入之一(第 1 节)。作者对 34 篇核心文献的编码显示,只有 26.5% 涉及规划阶段,且没有工作在商业产品上做端到端投毒评估(摘要、第 9 节)。
    • 核心观察:作者认为,不含指令的数据级操纵可以绕过以指令检测为中心的防御;规划与排名提升目标的交叉在文献中为空,但 DR agent 的查询完全由规划器产生(第 9 节 F2、第 10 节)。
    • 论文贡献:提出四阶段系统模型与统一威胁模型、攻击分类(4 阶段 19 类)与防御分类(5 层)、9 个安全基准综述、与 RAG 投毒/提示注入/GEO 的逐维对齐、34 篇文献编码,并提出 agenda seeding 攻击及 3,520 次沙盒运行实验(第 1 节贡献列表)。
    • 威胁模型(第 4.3 节、第 10.1 节):
      • 目标:让 DR agent 的报告把攻击者指定的产品列为首选(排名提升目标 Pro),或更广地改变证据与结论完整性。
      • 知识:攻击者不知道用户的具体查询,也不知道智能体所用模型与提示词;论文主张 DR 攻击评估应同时报告知识假设与能力等级。
      • 能力:实验采用 C1 级——可发布自己的网页(预算为 3 个新域名上的 3 个新页面),不能控制搜索排名;完整分级为 C0–C5,供应链攻击者 C6 单列为空白。
      • 受害系统:沙盒中循环执行规划、检索、整合的三轮研究智能体,结构上对标 STORM、WebThinker 等开源系统。
  2. 有哪些相关研究?

    相关工作分四类:DR 能力系统与综述、检索阶段投毒与注入、规划与整合阶段攻击、防御与基准;论文按阶段重组并补实验。

    DR 能力系统与综述

    • 能力系统:STORM、Co-STORM、OmniThink、MindSearch 等开源框架,以及 OpenAI/Gemini/Perplexity Deep Research 等产品,构成论文的系统背景(第 1、2 节)。
    • 能力综述:Xi et al. (2025a)、Zhang et al. (2025c)、Huang et al. (2025)、Xu and Peng (2025)、Li et al. (2025e) 综述范式、优化与评估,但只关注能力;论文借用其流水线划分并把每个阶段重新解释为攻击面(第 12 节)。
    • 智能体安全综述:Deng et al. (2025)、He et al. (2025, 2026)、Gan et al. (2024) 等按模型、记忆、工具、环境组织威胁,把检索当作一种不可信输入;作者称它们未刻画开放网页证据生态(第 1、12 节)。

    检索阶段攻击(投毒与注入)

    • RAG 投毒:PoisonedRAG (Zou et al., 2025)、Zhong et al. (2023) 等奠定知识投毒方法;作者指出其目标查询已知、检索器可访问、单轮检索三个假设在 DR 场景不成立(第 8 节)。
    • UGC 编辑与结果槽注入:WARP (Zhang et al., 2026b) 对 UGC 页面做约 13 词修改,被 57%–76% 运行检索、38%–51% 报告引用;SafeSearch (Dong et al., 2026) 在 300 个测试用例上最高攻击成功率 90.5%;Breadcrumbing (Li et al., 2026b) 主张按每轮可注入条目数衡量能力。
    • 间接提示注入:Greshake et al. (2023) 提出间接注入;Nestaas et al. (2025) 操纵 LLM 搜索推荐;Khodayari et al. (2026) 实测真实网页中的注入大多对人不可见。

    规划、整合与生成阶段攻击

    • 规划阶段:DR 越狱研究 (Chen et al., 2026a) 的 plan injection 与 intent hijacking 只需自然语言改写;FORGE (Pan et al., 2026) 研究轨迹劫持;KidnapRAG (Choi et al., 2026a) 用 Bait/Chain-Link/Mal-Ins 三类文档劫持 agentic RAG。
    • 整合阶段:HAE-GEO (Bi et al., 2026) 在 72,039 个干净页面、每级 770 个投毒页上发现伪造互证削弱智能体识别可疑证据的能力;Lazy Grounding (Zhang et al., 2026c) 用全真实但干扰性的证据使搜索智能体准确率平均降 5.9 个百分点。
    • GEO 与生成阶段:GEO (Aggarwal et al., 2024) 报告内容可见度最高可提升 40%;WARP 以报告引用投毒源的比例为核心指标,即 citation laundering;Rao et al. (2026) 研究无攻击者的引用幻觉。

    防御与基准

    • 防御:指令-数据分离(Spotlighting、StruQ、SecAlign、instruction hierarchy)、注入检测(DataSentinel、MELON)、鲁棒聚合(RobustRAG、TrustRAG、Astute RAG)、根查询锚定(FORGE)、特权控制(CaMeL、FIDES、Progent)等;作者指出内容级防御假设攻击携带指令、整合级假设多数证据良性、来源级假设权威来源难被污染,而 DR 代表性攻击分别打破这三条假设(第 6.6 节)。
    • 基线与基准:论文实验的对照攻击为 GEO 与 GEO+注入(同预算);综述的 9 个安全基准包括 Agent-Fence、HAE-GEO、两个 SafeSearch、SearchGEO、MosaicLeaks、GEO-Bench、WASP、AgentDojo(Table 5)。

    作者定位:与 Agent-Fence 最接近,后者按信任边界组织 14 类攻击,本文按研究阶段组织并补充防御分类、邻域对齐和文献统计(第 12 节)。

  3. 论文如何解决这个问题?

    先按四阶段建立威胁模型与分类法并编码 34 篇文献,再针对规划阶段空白设计 agenda seeding 攻击做受控沙盒实验。

    整体分两部分:一是系统化——把 DR agent 抽象为检索、规划、证据整合、报告生成四阶段,建立威胁模型、攻击/防御分类法并对 34 篇核心文献编码;二是实证——针对编码发现的规划阶段空白,提出 agenda seeding 攻击并在离线沙盒中与 GEO、提示注入同预算对比。

    系统化方法(第 3 节)

    • 文献收集:检索 USENIX Security、IEEE S&P、ACM CCS、NDSS 及 ACL、NeurIPS 等 venue 和 arXiv 四个分类,覆盖 2023 年 1 月至 2026 年 9 月,关键词组合后做前后向滚雪球。
    • 纳入标准:研究对象属于范围、含明确威胁模型或安全目标、报告实证结果;得到 34 篇核心研究和 88 篇邻近工作。
    • 编码方案:每篇按 6 维编码——类型(A/D/B/M)、涉及阶段(R/P/I/G,多标签)、攻击者能力(C0–C5)、攻击目标(Int/Pro/Harm/Hij/Conf/Avail)、目标系统(DR/SA/GE/RAG)、评估环境(Live/Sandbox/Sim)及是否评估防御。

    威胁模型(第 4 节)

    • 信任边界:B1 用户-智能体、B2 智能体-搜索引擎与网页、B3 结果槽与外部观察者、B4 证据整合到规划的反馈环、B5 报告-消费者(Figure 1)。
    • 安全目标:六类——证据与结论完整性、排名与推荐公平性、安全、控制流完整性、机密性、可用性与成本。
    • 攻击者能力:C0 无攻击者(如引用幻觉)到 C5 被动观察者;C6 供应链攻击者(控制搜索 API、爬虫、工具服务器、子智能体)在核心语料中无研究,列为空白(Table 2)。

    攻击与防御分类法(第 5、6 节)

    • 攻击分类:按阶段组织 19 类攻击,每类给出机制、所需能力、目标和代表工作(Table 3);并归纳三种跨阶段传播模式:检索到规划的反馈、整合到生成的放大、报告到消费者的扩散。
    • 防御分类:按来源、内容、整合、规划与系统、生成五层组织,每层给出依赖假设与已知失效条件(Table 4),例如内容级防御假设攻击载荷携带指令,失效于纯数据操纵。

    Agenda seeding 攻击设计(第 10.1 节)

    • 核心机制:攻击者不写任何指令、不直接声称目标产品最好,而是在一篇结论与主流一致的购买指南中引入一个虚构评测指标,声称它被多数评测忽视;另两页(实验室报告、技术解释)称目标产品在该指标上领先。诱饵页不提目标产品。
    • 变体:no-bait(去掉诱饵页只留两个指标页)和 adaptive agenda seeding(用第二个域名上的第二个诱饵页替换技术解释页,使指标首轮即被两个站点提及,用于测试 provenance tagging)。
    • 对照攻击:同预算(3 个新域名 3 个新页面)的 GEO(声称目标产品总体最佳)和 GEO+注入(每页末尾附加一句面向 AI 助手的指令)。

    沙盒与智能体(第 10.1 节)

    • 语料:20 个真实消费品类,每类虚构 5 个品牌型号并预设 4 项通用购买标准得分,一个产品在 3 项上领先作为 ground-truth 最佳,第三名作为攻击目标;Qwen3.7-Plus 按得分表为每类生成 18 个良性页面,共 360 页;另有稀疏版本(目标品类仅 6 个良性页)。检索用 BM25,每次查询返回前 4 条。
    • 被测智能体:迭代研究智能体,规划器先给 3 个初始查询,之后每轮读新结果、按来源做笔记、提出 2–3 个后续查询,共 3 轮检索,最后写 300–500 词带行内引用的报告,输出 RANKING 与 TOP PICK 两行;后端为 Qwen3.8-Flash、DeepSeek-V4.1-Flash、Kimi-K3,经阿里云百炼标准接口调用、关闭思考模式。
    • 配对设计:同一品类同一样本中,攻击页面首次出现之前的所有模型调用跨条件复用,条件间逐运行配对;差异用配对精确 McNemar 检验。

    指标与防御(第 10.1 节)

    • 指标:目标首选率、最佳首选率(衡量研究质量)、目标平均排名(缺席记 6)、攻击页被读/被引比例、规划劫持率(第 2 轮起查询含虚构指标)、议程采纳率(报告提及虚构指标)。
    • 四种防御:注入检测(Qwen3.8-Flash 判定页面是否含指挥 AI 的文本)、根查询锚定(text-embedding-v4 余弦相似度,阈值取干净运行全部后续查询相似度的第 10 百分位)、verification prompting(系统提示要求交叉核对、警惕单一来源指标)、以及作者提出的 provenance tagging(依赖单一来源概念的查询被标记,相关页面记为单来源谱系,不得让仅由这类页面支持的标准决定结论)。
  4. 论文做了哪些实验?

    3,520 次沙盒运行:agenda seeding 目标首选率 16.0%/28.0%,GEO 与注入近乎无效;四种防御中仅 verification prompting 有效但损害效用。

    实验设置

    • 被测模型:Qwen3.8-Flash、DeepSeek-V4.1-Flash、Kimi-K3,均经阿里云百炼标准接口、关闭思考模式;前两者每条件每品类采样 2 次,Kimi-K3 因调用成本采样 1 次。
    • 数据集:自建离线沙盒,20 个虚构品类、360 个良性页面(Qwen3.7-Plus 生成),另有稀疏版本(目标品类 6 个良性页);BM25 检索,每查询返回前 4 条(第 10.1 节)。
    • 对照攻击:同预算(3 个新域名 3 页)的 GEO、GEO+注入、agenda seeding,及 no-bait、adaptive seeding 两个变体。
    • 指标:目标首选率、最佳首选率、目标平均排名、被读/被引率、规划劫持率、议程采纳率;配对精确 McNemar 检验。
    • 样本量:Table 9 每个汇总单元 n=100 次运行;Table 10 每格 n=160(Qwen 与 DeepSeek 合并、两种覆盖度),Kimi 列 n=20;总计 3,520 次运行(摘要)。
    • 评审方式:结论从报告的 RANKING/TOP PICK 两行规则化读取;注入检测防御由 Qwen3.8-Flash 判定页面是否含指挥 AI 的文本。

    主结果

    据 Table 9(无防御、三轮检索,汇总三模型,每格 n=100):

    表格较宽,可左右滑动

    覆盖度条件目标首选率最佳首选率目标平均排名劫持率采纳率
    稠密Clean0.0%100.0%3.070.0%0.0%
    稠密GEO0.0%98.0%3.040.0%0.0%
    稠密GEO+注入5.0%94.0%2.950.0%0.0%
    稠密Agenda seeding16.0%80.0%2.6272.0%96.0%
    稀疏GEO6.0%93.0%2.890.0%0.0%
    稀疏Agenda seeding28.0%64.0%2.3988.0%99.0%
    • 作者称,同预算下改比较标准远比直接推广目标产品有效:agenda seeding 对 clean 和 GEO 的配对检验在两种覆盖度下均 p < 10⁻⁴,GEO 仅在稀疏语料上相对 clean 为 p = 0.031,其余 GEO/注入比较 p ≥ 0.06。
    • 作者指出 GEO 与注入页面几乎每次运行都被读、被引(98%–100%),但模型仍站在与其矛盾的多数来源一边;agenda seeding 的诱饵页甚至不提目标产品。
    • 分模型看(Table 9):稀疏语料上 Qwen3.8-Flash 被翻转 47.5%、Kimi-K3 两种覆盖度均 30.0%、DeepSeek-V4.1-Flash 仅 2.5%/7.5%;作者认为识别推广内容与判断评测标准可信度是两种不同能力。

    防御评测(Table 10、Figure 5)

    • 注入检测与根查询锚定:注入检测把注入下目标首选率降到 0(0 对 5 次翻转,p = 0.06;前二名 0 对 11,p < 0.001),但对 agenda seeding 完全无效且每次研究 token 成本增加约 69%;根查询锚定把劫持率从 75.6% 降到 54.4%,但目标首选率仍为 20.0%。
    • Verification prompting:唯一实质降低攻击效果的防御——agenda seeding 目标首选率从 20.0% 降到 8.8%(p < 0.001),Kimi 从 30.0% 降到 0;但无攻击最佳首选率从 100% 降到 86.2%(DeepSeek 降至 76.2%),作者称它主要靠少下结论而非下对结论。
    • Provenance tagging(作者提出):无攻击最佳首选率保持 100%(误标率 3.8%),agenda seeding 目标首选率从 20.0% 降到 15.0%(消除 8 次翻转、未引入新翻转,p = 0.008);但对双站点诱饵的 adaptive seeding 仅从 18.8% 降到 17.5%(p = 0.5),作者称按站点计数判断独立性可被多站点攻击者伪造。

    机理分析(Figure 4、Figure 5(c))

    • 攻击路径:agenda seeding 运行中 80.0% 通过劫持步骤、97.5% 通过采纳步骤,损失主要发生在从采纳指标到把目标排第一的最后一步;稠密语料上 53% 的运行经后续查询读到指标页、40% 首轮通用查询即检索到,稀疏语料上 82% 首轮即检索到。
    • 锚定失效原因:含虚构指标的查询与原问题的中位相似度为 0.42,低于无攻击后续查询的 0.60,但两分布重叠;阈值只丢弃 39.2% 的指标查询,同时已丢弃 9.1% 的正常查询(Figure 5(c))。
    • 跨品类:在 40 个品类×语料组合中,agenda seeding 在 75% 的组合上改善目标平均排名,GEO 与 GEO+注入均为 28%;平均排名提升分别为 0.50、0.09、0.12 位(Figure 4(c))。

    其他消融与分析

    • 单轮检索(稠密语料,Qwen 与 DeepSeek):目标首选率从 12.5% 降到 6.2%,采纳率从 95.0% 降到 65.0%。
    • No-bait 变体:目标首选率在稠密/稀疏语料上分别从 12.5%、27.5% 降到 10.0%、18.8%;稀疏语料上最佳首选率的下降差异 p = 0.035,其余差异在该规模下不显著。
    • 文献编码(Table 8,N=34):规划阶段仅 26.5% 涉及,C1 攻击者占 67.6%,C6 为 0;55.9% 在模拟语料上评估,仅 14.7% 专门提出防御。
    • 负面结果:作者明确指出部分消融差异在实验规模下不显著,且实验只证明可行性,不代表真实系统上的攻击成功率(第 10.3 节)。
  5. 有什么可以进一步探索的点?

    作者列出沙盒与真实系统的差距等实验局限,并提出规划完整性、供应链攻击者、自适应评估等八个研究方向。

    作者指出的局限与后续方向

    • 沙盒保真度(第 10.3 节):语料由单一模型生成,规模(20 品类、每类 18 个良性页)远小于真实网络,排序器是 BM25 而非商业搜索引擎。
    • 被测智能体与样本量(第 10.3 节):被测的是结构简单的三轮研究流水线,与商业产品在检索规模、查询数量和安全机制上不同;每条件仅 20–160 次运行,部分消融差异在该规模下不显著;结果证明可行性与防御失效模式,不代表真实系统上的攻击成功率。
    • Provenance tagging 的局限(第 10.2 节 E5、第 11 节 G5):只在指标经单一来源引出时生效(仅 21.2% 的 agenda seeding 运行触发标记),且按站点计数的独立性判断可被多一个诱饵站点绕过,需要更强的独立性证据(如发布者关联、页面历史、首次出现时间)。
    • 八个研究空白与方向(第 11 节):G1 规划完整性(形式化研究方向劫持、区分合法探索与诱导偏离);G2 报告级归因完整性(来源凭证、编辑历史、引用洗白与定向 cloaking 检测);G3 编辑型与供应链攻击者(C2/C3 研究稀少、C6 完全空白);G4 机密性与可用性(查询改写、差分隐私式查询混淆、钱包耗尽检测);G5 面向证据推理的防御(来源独立性、时序一致性、跨语言跨平台互证、多跳检索下有界保证);G6 标准化可复现评估(冻结网页快照、可插拔排序器、统一投毒接口);G7 自适应攻击与防御组合;G8 多模态、多智能体与人的因素。

    实验覆盖范围

    • 被测模型为 Qwen3.8-Flash、DeepSeek-V4.1-Flash、Kimi-K3 共 3 个,均经阿里云百炼接口、关闭思考模式(第 10.1 节)。
    • 攻击评测在自建离线沙盒进行:20 个虚构品类、360 个良性页加稀疏版本,BM25 检索;对照攻击为 GEO 与 GEO+注入,未在商业产品上做端到端投毒(第 10.1 节,作者称这会影响真实用户并面临伦理障碍,第 7 节)。
    • 防御评测覆盖四层:注入检测、根查询锚定、verification prompting、provenance tagging,并对 provenance tagging 做了自适应攻击测试(Table 10)。
    • 样本量为每格 n=100(Table 9)或 n=160(Table 10),Kimi 列 n=20;Qwen 与 DeepSeek 每条件每品类 2 个样本、Kimi 1 个;差异用配对精确 McNemar 检验(第 10.1 节)。
    • 文献编码覆盖 2023 年 1 月至 2026 年 9 月的 34 篇核心研究(第 3 节);论文未报告人工评估或人工与自动判定的一致性。
  6. 总结一下论文的主要内容

    DR agent 安全系统化加 agenda seeding 实证:无指令的数据级操纵能改变研究结论,现有以指令检测为中心的防御对它无效。

    一篇关于深度研究智能体(DR agent)安全的系统化与实证论文:作者把 DR agent 抽象为检索、规划、证据整合、报告生成四阶段,回答"攻击面是什么、现有攻防如何分类、基准缺什么、文献分布揭示什么空白、规划阶段能否被无指令攻击操纵"五个问题。

    • 要解决的问题:DR agent 自动阅读开放网页并生成带引用的报告,报告常被直接当作结论,但该领域研究分散、威胁模型与指标不一;作者对 34 篇核心文献的编码显示,规划阶段仅 26.5% 的工作涉及,且无工作在商业产品上做端到端投毒评估。
    • 方法要点:提出含五个信任边界、六个攻击者能力等级(C0–C5,C6 供应链单列为空白)、六类安全目标的威胁模型;按阶段组织 19 类攻击、按五层组织防御并标注各自假设与失效条件;与 RAG 投毒、提示注入、GEO 逐维对齐。实证上提出 agenda seeding:攻击者不写指令、不声称目标更好,只引入一个虚构评测指标。
    • 主要结果(3,520 次沙盒配对运行,Table 9、10):同预算下 GEO 与 GEO+注入近乎无效(目标首选率最高 6.0%),agenda seeding 在稠密/稀疏语料上分别达 16.0% 和 28.0%,并把最佳首选率从 100% 拉到 80.0%/64.0%;72.0%–88.0% 的运行中智能体主动搜索了虚构指标。
    • 防御结果:注入检测与根查询锚定对 agenda seeding 无效;verification prompting 把目标首选率从 20.0% 降到 8.8%,但无攻击最佳首选率从 100% 降到 86.2%;作者提出的 provenance tagging 保持效用(最佳首选率 100%)但可被双站点诱饵绕过(18.8% 仅降到 17.5%)。
    • 作者的结论:作者认为,DR 安全不能当作提示注入的特例——核心任务是从数据得出结论,纯数据级操纵即可达成攻击;防御需要在对抗环境中做证据推理,不仅判断声明是否可信,还要判断比较标准由谁提出、为何成立。作者同时强调沙盒结果只证明可行性,不代表真实系统上的成功率,并提出八个研究方向。
阅读原文arxiv.org