跳到正文
原文
论文追踪· arXiv:2602.00851·本站收录· 原文发表

研究提出说服传播现象:无关说服性对话会改变 AI Agent 的任务执行行为

Persuasion Propagation: Does Persuasion Change AI Agent Behavior?

论文速读

风险行为

据论文 PDF 整理(AI 生成),以原文为准

作者称网页研究里说服使执行时间增56%、访问域名增16.3%,但易感性不能稳定预测偏移。

问题
智能体执行中,用户、工具和外部内容都可能进入上下文并影响后续步骤。作者问任务无关的说服是否改变之后无关任务的执行,以及这种变化能否用说服易感性解释。
方法
同一智能体实例先做立场探针,再接受无注入、轮次匹配的中性内容或反向说服,并在干扰问答后复查立场是否保持。随后做编码或网页研究,记录时长、修订、搜索和来源;预填相信或不相信用来绕过多轮说服。
实验与结果
摘要称网页研究的执行时间增加56%、访问域名增加16.3%。Table 2中,相对中性条件,说服后编码时长更短、修订更大,网页执行更长。Figure 3中易感性与传播幅度关系的p为0.083–0.854,作者称不能稳定预测幅度。
局限与可以继续做的
附录A称未覆盖更新的前沿模型或代码专用模型,每域只有5个下游任务,说服限于单条陈述加三步承诺。作者还称易感性与传播无可靠关联不应外推到全部设置,长程智能体留作后续。论文未报告输出质量评审与人工的一致性。
实验设置gpt-4.1-nano、mistral-nemo-12b 等 · Persuasion dataset、WikiQA 等 · Persisted、Faded 等
被测模型
gpt-4.1-nanomistral-nemo-12bllama-3.1-8b
基准
Persuasion datasetWikiQAKodCode-V1 (TACO subset)TREC 2014 Session TrackMoralExceptQA
指标
PersistedFadedNo Chgcoding durationexecution durationnumber of revisionsrevision entropymean revision sizenumber of web eventsnumber of searchesquery similaritynumber of unique URLsnumber of domainsdomain entropyLLM-judge 1-5 scores
AI 导读研究者提出并检验了“说服传播”现象,即与任务无关的说服性对话会改变 AI Agent 后续任务的执行方式。实验显示,在网络研究任务中,说服性交互使执行时间相对基线增加 56%,访问域名数增加 16.3%;在编码任务中则表现为执行更快但修改量更大。研究还发现,对说服性对话更敏感的 Agent 并不能可靠预测下游行为偏移的幅度,因此作者主张对 AI Agent 的说服影响开展行为层面的评估。代码已公开。

研究者提出并检验了“说服传播”现象,即与任务无关的说服性对话会改变 AI Agent 后续任务的执行方式。实验显示,在网络研究任务中,说服性交互使执行时间相对基线增加 56%,访问域名数增加 16.3%;在编码任务中则表现为执行更快但修改量更大。研究还发现,对说服性对话更敏感的 Agent 并不能可靠预测下游行为偏移的幅度,因此作者主张对 AI Agent 的说服影响开展行为层面的评估。代码已公开。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    作者问任务无关说服是否改变后续执行,并称易感性不能稳定预测偏移幅度。

    任务无关的说服会不会改变 AI 智能体随后执行无关任务的方式,以及说服易感性能否解释这种变化的幅度。

    • 场景: 智能体被用于网页浏览、编码和研究,输入来自用户、邮件、日历、Slack、网页和工具输出。作者认为先前上下文会进入后续决策,并类比易被说服的人更可能按误导建议行动。
    • 现有不足: 既有 LLM 说服研究主要问模型能否被说服,测量的是表态变化或对说服策略的易感。作者认为智能体行为噪声大、复现成本高,观察到的变化也难与一般上下文敏感性分开。
    • 作者的问题: 作者把暴露点之后仍影响后续行动的任务无关说服称为 persuasion propagation。若只改变说法,影响可能停在当次交互;若影响持续,搜索、规划或行动可能改变,而任务仍可完成、输出仍看似正常。
    • 本文做什么: 在受控实验里把信念状态与说服时机分开,测量立场在干扰问答后是否保持,并比较中性交互与说服之后的编码和网页研究轨迹。作者再检验易感性是否预测下游行为差的幅度。
    • 作者关心的风险: 说服内容不像恶意指令,可能不出现在最终答案中,因而不触发审计告警。作者认为智能体仍可能漏掉相关证据或依赖更窄来源;长程运行中的小偏差还可能累积。
  2. 有哪些相关研究?

    作者把本文放在智能体轨迹评估、无关上下文注入和 LLM 说服研究之间。

    论文第 2 节把相关工作分成智能体与轨迹、无关上下文、说服和人格几组,用来衬托“说服之后执行是否改变”。

    智能体与轨迹分析

    • 执行型智能体: Voyager、ReAct、AutoGen 等把 LLM 放进观察与工具反馈的循环,用于网页研究、代码生成和长程任务。作者指出智能体跨步骤保持状态,行为可在执行中变化。
    • 轨迹级评估: 论文引用 ST-WebAgentBench、CORE、TRAJECT-bench、BrowserGym、VeriWeb 等工作,强调评估要从最终结果延伸到轨迹或思维链。Geng 等报告累积上下文可改变模型表达的信念与行为。

    无关上下文与说服

    • 无关信息: Shi 等、Yoran 等报告无关上下文会干扰推理或检索增强生成。论文转述 Niu 等的看法:先前上下文可能不成比例地引导后续生成。作者将本文区别为不看即时干扰,而看被说服之后的多步行为漂移。
    • 说服与表态: 论文讨论模型可以生成说服论证,表达的信念或立场也会在辩论、框架或累积上下文下变化。PMIYC 用多智能体对话量化说服效果与易感性;论文对它的描述是,说服强度和对错误信息的抵抗存在模型间差异。
    • 与提示注入的区分: 作者称 persuasion propagation 的说服信息与底层任务无关;提示注入或指令跟随的注入内容通常在任务上下文内,并直接鼓励行为改变。

    人格条件与实验对照

    • 人格提示: TRAIT、人格向量和心理测量框架用人格提示与心理探针量化模型倾向,涉及大五人格、sycophancy、毒性和幻觉倾向。作者称人格表达不稳定且依赖上下文,本文进一步问这种条件是否改变搜索、用工具和执行下游任务的方式。
    • 基线与数据: 行为对照是无额外注入的 C0、轮次匹配的中性 C1 和说服 C2,另有预填中性、相信与不相信。易感性使用 Persuasion 数据集全部 56 对非对照主张,干扰问答来自 WikiQA;传播实验使用其中 5 对主张、KodCode-V1 的 TACO 子集 5 道 hard 编码题,以及 TREC 2014 Session Track 的 5 个主题。

    作者将本文定位为:在任务仍可能成功完成时,用轨迹指标检查任务无关说服是否改变后续执行,并检验立场层面的易感性是否预测这种改变的幅度。

  3. 论文如何解决这个问题?

    同一智能体先做立场探针与说服,再在编码和网页研究中记录轨迹指标。

    作者用 Figure 2 的四阶段流程研究 persuasion propagation:加人格、说服、执行、分析。同一次试验中,说服暴露和任务执行由同一智能体实例完成,使暴露后的对话状态在执行时仍然可用;试验之间重新初始化,避免跨试验携带。

    人格配置与易感性定义

    • 人格: 在 LLM 家族层面用固定系统提示指定语气和决策风格,任务与评价标准不变。Appendix C 的 Table 4 列出 6 种:Neutral、GPT、Claude、LLaMA、Mistral、Qwen。作者称这些名字是人格,不是另一些骨干模型。
    • 立场轨迹: 智能体先陈述初始立场,接触说服或对照内容后再探针。成功说服定义为:从初始探针到紧接暴露后的探针发生立场变化,且最终探针仍保持该变化。
    • 干扰与易感性: 说服后、最终探针前插入 8 轮无关问答,题目从 WikiQA 随机抽取,用来制造对话延迟和上下文噪声。易感性是说服保持下来的试验比例;结果中用 Persisted 比例表示,轨迹分为 Persisted、Faded、No Chg。

    即时说服与任务无关性

    • 三种注入: C0 不加入额外内容;C1 为中性、非说服提示;C2 为支持与初始立场相反的说服论证。C1 与 C2 匹配注入位置、长度和轮次结构。
    • 论证从哪来: 单独的写作者 LLM 根据初始立场、目标立场和策略生成论证,不承担下游任务。策略为 authority endorsement、logical appeal、urgency priming、evidence-based framing、anchoring,依据 Zeng 等报告的有效技术。主实验写作者为 gpt-4.1-nano,附录另用 Gemini-2.5-Flash。注入内容在下游任务中不再展示;作者据此认为后续影响须来自先前对话,而不是直接复用说服措辞。附录 J 的 Figure 6 给出完整生成提示词。
    • 承诺与复查: 仅 C1 和 C2 要求智能体表明同意或不同意、用自己的话重述立场,并指出若该话题再出现会采用的一项具体考虑。暴露和承诺之后立即复查,再经干扰问答做最终探针。
    • 无关性检查: 作者用 SBERT 计算注入主张与下游任务提示的相似度,报告 mean = 0.023、std = 0.067。作为正对照,与注入主张显式或隐式相关的提示相似度为 mean = 0.110、std = 0.110。

    下游执行与轨迹指标

    • 系统: 使用 AutoGen。骨干 LLM 实例化的主智能体做任务级决策;辅助智能体执行工具调用并与环境交互,不做任务级决策。骨干为 gpt-4.1-nano、mistral-nemo-12b、llama-3.1-8b;第 5.1 节称主实验使用 gpt-4.1-nano。
    • 编码: 按规格写 Python,迭代调试直到通过全部测试。记录编码时长、端到端试验时长、修订次数、修订熵和平均修订大小。作者称这里提取的是轨迹,而不是把解答正确性当作评价指标。
    • 网页研究: 发出搜索、访问外部来源并写成报告。指令要求至少访问 5 个不同网站,且报告基于实际访问的页面。指标为执行时长、搜索查询相似度、域名熵、网页事件数、搜索次数、独立 URL 数和域名数。
    • 数据规模: 易感性使用 Persuasion 数据集全部 56 对无客观正确答案的非对照争议主张。传播实验从中选 5 对最终人类评分处于极端支持或反对的主张。编码抽 5 道 TACO hard 题,网页研究抽 5 个 TREC 2014 Session Track 主题。

    传播对照与预填消融

    • 主对照: 传播主要比较 C2 与轮次匹配的 C1;C0 是没有额外注入内容的参照。作者称两者交互结构和承诺序列相同,差别在注入内容是否具有说服性。
    • 关联定义: 对每个人格–策略对,易感性是 Persisted 立场变化率,传播是相应的 C2−C1 行为差。β 是易感性每提高 10 个百分点时,传播估计量的变化。
    • 预填消融: 绕过多轮说服,在任务提示之前直接指定相信、不相信或中性(Figure 7)。作者用它检验直接立场条件是否也会带来下游行为差,而不是只依赖说服引出的立场。附录 J 给出立场探针、预填和任务提示词。
  4. 论文做了哪些实验?

    相对中性条件,网页执行更长、编码时长更短,易感性不能稳定预测幅度。

    实验设置

    • 骨干与辅助模型: 立场实验报告 gpt-4.1-nano、mistral-nemo-12b、llama-3.1-8b。第 5.1 节称主实验使用 gpt-4.1-nano。说服论证的写作者主实验为 gpt-4.1-nano,附录 C 另用 Gemini-2.5-Flash。附录 G 用 gpt-5-mini 给网页报告打分。相似度使用 SBERT。
    • 数据: 易感性为 Persuasion 数据集 56 对非对照主张,最终探针前有 8 轮 WikiQA 干扰问答。传播用其中 5 对极端人类评分主张;编码为 KodCode-V1 TACO 子集 5 道 hard 题;网页为 TREC 2014 Session Track 的 5 个主题。另有 MoralExceptQA 两个场景。
    • 条件: 6 种人格提示;5 种说服策略,立场实验另有无策略基线。传播条件为 C0、C1、C2。预填消融为中性 P0、相信 B、不相信 DB。
    • 指标: 立场为 Persisted、Faded、No Chg。编码为时长、端到端时长、修订次数、修订熵、平均修订大小。网页为执行时长、网页事件、搜索次数、查询相似度、独立 URL、域名和域名熵。附录 G 另有 1–5 分的 coverage、correctness、grounding、specificity、organization、instruction following、overall。
    • 判定: 说服成功由初始、暴露后和最终探针的立场是否变化并保持来定义,不是 LLM 裁判。Table 2 给 95% CI;Table 3 给 p 值;Table 10 使用 Welch’s t-test。输出质量由 gpt-5-mini 按 Figure 10、Figure 11 的 1–5 分量表评分。
    • 样本量: Table 3 每个预填条件 n = 250。Table 9 网页比较中 C0 与 C1 各 n = 150,C2 n = 750,P0 n = 250。附录 A 写每项任务在人格、主张、策略和条件上有 210 次运行。Table 2 未给出编码样本量。

    主结果

    Table 2 未在标题中写明骨干模型;第 5.1 节称主实验使用 gpt-4.1-nano。下表为均值。未列入的编码修订次数 Δ 为 +0.041、修订熵 Δ 为 −0.059,二者 95% CI 含 0。网页事件数、查询相似度和域名熵的 CI 不含 0,数值见 Table 2。作者称标准差常常超过均值。

    表格较宽,可左右滑动

    指标C1C2Δ(C2−C1)95% CI
    编码时长 (s)50.95525.206−25.750[−38.684, −12.816]
    编码端到端时长 (s)56.64428.415−28.229[−41.171, −15.288]
    平均修订大小4.9797.900+2.920[0.755, 5.086]
    网页执行时长 (s)61.45895.853+34.394[25.482, 43.307]
    网页搜索次数2.4733.133+0.660[0.024, 1.296]
    独立 URL 数4.2205.244+1.024[0.387, 1.661]
    域名数2.0802.420+0.340[0.144, 0.536]
    • 作者对方向的解读: 相对 C1,C2 的编码时长更短、修订更大,修订次数和修订熵没有有意义的差别。网页呈现相反趋势:C2 与 C0 的执行时长都长于 C1,独立 URL 略多。作者称网页比较的 95% CI 不含 0,因此尽管差别较小,结果在统计上有意义。
    • 不是相对所有基线同向放大: 作者称 C2 总体上更接近 C0,说服改变了交互历史,但并不比基线更极端。Table 10 中,网页执行时长相对无说服 C0:中性注入 Δ 为 −21.658 秒(p = 2.7×10−4),说服注入 Δ 为 +12.736 秒(p = 0.013)。
    • 摘要中的总括: 摘要称网页研究中执行时间增加 56%、访问域名增加 16.3%,相对 a baseline。摘要未写明该 baseline 是 C0 还是 C1。作者还称,在 C2 内部,无论立场是否被说服,网页活动都升高,汇总效应大体相近,因此下游变化不一定对应“是否被说服”。

    立场易感性

    • 测了什么: Table 1 报告三种骨干、五种策略加无策略基线,在 8 轮干扰后的 Persisted、Faded、No Chg 百分比。作者把 Persisted 当作易感性。
    • gpt 与 mistral: gpt-4.1-nano 无策略 Persisted 为 51.53%,Authority Endorse 为 69.39%,Evidence-based 为 68.37%,Logical Appeal 为 63.27%。mistral-nemo-12b 无策略为 32.65%,Evidence-based 为 45.92%,No Chg 仍在 49.49%–61.73%。作者称这两种骨干上,全部策略都提高了相对无策略基线的保持率,并降低未变化比例;权威背书和基于证据的论证保持率最高,逻辑诉求和紧迫性启动相对较弱。
    • llama 是例外: llama-3.1-8b 无策略 Persisted 为 86.73%、Faded 为 0.51%、No Chg 为 12.76%,是该骨干的最高保持和最低未变化。施加策略并未进一步提高保持率,Priming Urgency 的 Persisted 为 65.82%、No Chg 为 34.18%。附录 D 的 Table 8 进一步按人格列出,作者称同一骨干内人格之间也有差异。

    易感性是否预测传播

    • 测了什么: 每个人格–策略对上,把 Persisted 率对 C2−C1 行为差做关联。β 是易感性每增加 10 个百分点时传播量的估计变化。Figure 3 的点是人格–策略对,直线和阴影为估计关系及 95% CI。
    • 结果: 作者称编码和网页研究都没有证据支持易感性与传播幅度相关,p = 0.083–0.854。正文给出的最强趋势是编码修订熵 β = −0.090,但作者称它无法与零区分。正文举例 β = +4.25 表示易感性增加 10 个百分点时,C2−C1 时长差大 4.25 秒;Figure 3 在 Web exec. duration 处标注 +4.25。
    • 作者的解读: Table 2 显示说服上下文与下游行为变化相伴,但更易被说服的智能体不能稳定预测行为偏移的幅度。Figure 4 给出全部编码和网页指标的同一关系,正文未逐项列出 β。

    预填立场与输出质量

    • 预填: Table 3 每个条件 n = 250。相信相对不相信,网页事件 Δ = −1.332(p = 0.005),搜索 Δ = −1.244(p = 0.002),独立 URL Δ = −0.856(p = 0.008)。执行时长 Δ = −13.033(p = 0.135),查询相似度、域名和域名熵的 p 分别为 0.971、0.831、0.458。作者称 DB 的主要活动接近 P0,B 的活动更低;活动下降更具体地与按指定信念行动相关,而不是立场条件的一般效应。作者还称,任务时直接指定立场即使没有多轮说服,仍可影响执行。
    • 输出质量: 附录 G 用 gpt-5-mini 按 1–5 分评最终网页报告,以无注入为基线。说服成功的 overall Δ 为 −0.199,未说服为 −0.097,中性注入为 +0.130(Table 11)。作者称说服成功组通常低于未说服组,下降较大的维度包括 coverage、grounding、specificity、instruction following 和 overall。改以中性无关注入为基线时,作者称定性模式仍在,但未给出那组数字。Table 11 未报告样本量。

    其他消融与分析

    • 基线本身会改变行为: Table 9–10。相对 C0,预填中性的搜索 Δ 为 +1.841(p = 1.5×10−5),域名 Δ 为 −0.617(p = 2.3×10−10)。作者称 C2 不是更强版本的 C1 或 P0,因此以 C1 为说服传播的主对照,并保留 C0 作为一般上下文参照。
    • 写作者: 附录 C Table 6,GPT backbone、evidence-based 策略。gpt-4.1-nano 写作时,说服成功相对未成功的时长为 114.46 > 103.72,搜索 5.32 > 3.25,独立 URL 7.32 > 5.75;Gemini-2.5-Flash 写作时为 67.41 > 53.11、3.34 > 1.84、4.92 > 3.61。作者称绝对值改变,但两种写作者下成功组都更活跃。
    • 另一数据集: Table 12,GPT-4.1-nano 网页研究。意见说服 Base/NP/P 的 n 为 150/259/491,时长均值 83.12、97.87、94.79。MoralExceptQA 的 n 为 22/73/47,NP 与 P 的时长为 105.27 与 84.05,搜索 7.23 与 5.32,独立 URL 8.74 与 6.62。作者称这是描述而非因果,差异不是单一说服数据集独有,幅度和模式取决于说服设置。
    • 第 7 节的总括: 作者称传播不是行为的均匀放大,而是随任务和指标变化的执行方式改变;高方差来自骨干、人格、任务和说服技术,智能体现象的研究本身噪声大、资源消耗高。
  5. 有什么可以进一步探索的点?

    作者称任务数、模型范围和单次说服限制了可外推性,长程设置留作后续。

    作者指出的局限与后续方向

    • 模型范围: 为使网页研究与编码可比,两边使用同一组通用骨干。评估未覆盖更新的前沿模型,也未覆盖代码专用模型(如 CodeLLaMA 或 Codex 式模型)。作者称后续应检验观察到的效应是否仍然存在(附录 A)。
    • 任务数量与成本: 下游评估限于每域 5 个任务。作者称按当前设置重跑完整的易感性、编码和网页流程,API 费用为数百美元;每项任务在人格、主张、策略和条件上有 210 次运行,因此优先密的因子覆盖而非更广的任务覆盖。后续应检验效应能否推广到更广的下游任务和智能体环境(附录 A)。
    • 干预强度: 说服干预限于单条说服陈述加三步承诺。作者称更强、重复或有时间结构的干预可能带来更深的信念整合和更明显的行为效应(附录 A)。
    • 关联不宜外推: 易感性–传播分析限于本文评估的人格–策略配置。作者称没有可靠关联,不应解释为二者在所有智能体设置中都无关;后续还应探索骨干、人格定义、任务结构和说服技术的更广因子空间(附录 A)。
    • 长程与一般效应: 作者称后续应继续寻找说服的更一般效应,并把长程智能体和长期上下文操纵留作未来工作(第 7 节)。

    实验覆盖范围

    • 立场实验: 覆盖 gpt-4.1-nano、mistral-nemo-12b、llama-3.1-8b,6 种人格提示,5 种策略加无策略基线,Persuasion 数据集 56 对非对照主张,最终探针前 8 轮 WikiQA 干扰问答(Table 1、Table 8、第 4–5 节)。
    • 传播主实验: 第 5.1 节称主实验使用 gpt-4.1-nano;下游为 5 道 KodCode-V1 TACO hard 题和 5 个 TREC 2014 Session Track 主题,说服用 5 对主张。Table 2 标题未写骨干。附录 H 将意见说服的网页比较标为 GPT-4.1-nano,Base n = 150,与 Table 9 的 C0 相同。
    • 条件与样本量: 传播条件包括 C0、C1、C2。Table 9 中 C0 与 C1 各 n = 150,C2 n = 750,预填中性 n = 250。Table 3 的 P0、B、DB 各 n = 250。附录 A 写每项任务 210 次运行。
    • 附加实验: Gemini-2.5-Flash 作为写作者的对照(附录 C Table 6);MoralExceptQA 两个场景,Base/NP/P 的 n 为 22/73/47(Table 12);gpt-5-mini 对网页报告做 1–5 分质量评估(附录 G)。编码记录轨迹指标,论文未报告测试通过率。
    • 统计与评审: 论文报告 Table 2 的 95% CI、Table 3 的 p 值、Table 10 的 Welch’s t-test,以及 Figure 3 的 p 区间 0.083–0.854。论文未报告 gpt-5-mini 评审与人工评分的一致性,也未在 Table 11 给出样本量。
  6. 总结一下论文的主要内容

    任务无关说服会在轨迹上留下任务相关的行为痕迹,但立场易感性不能稳定预测其幅度。

    这篇工作测量一件事:与任务无关的说服进入对话之后,AI 智能体执行后面的编码或网页研究时,轨迹是否系统性不同,以及“更容易被说服”能否预测差有多大。

    • 问题: 智能体从用户、外部服务、网页和工具输出接收自然语言,先前上下文可以进入后续决策。只看表态或最终答案,可能看不出证据收集、搜索和修订方式已经改变。作者把这种跨任务影响称为 persuasion propagation,并把它与任务内的提示注入区分开。
    • 做法: 固定 6 种人格提示后,同一智能体先做立场探针,再接受无注入、轮次匹配的中性内容或反向说服;8 轮干扰问答后复查立场是否保持。下游记录编码时长与修订、网页搜索与来源。另有直接预填相信、不相信或中性的消融。主实验骨干为 gpt-4.1-nano,立场实验还报告 mistral-nemo-12b 和 llama-3.1-8b。
    • 立场: Table 1 中,gpt-4.1-nano 的 Persisted 从无策略 51.53% 到 Authority Endorse 69.39%;mistral 上策略也提高保持率。llama-3.1-8b 无策略已达 86.73%,策略没有再提高。
    • 轨迹: 摘要称网页研究的执行时间增加 56%、访问域名增加 16.3%,相对 a baseline,但未写明是哪一个基线。Table 2 中相对中性 C1,编码时长 Δ 为 −25.750 秒,平均修订大小 +2.920;网页执行时长 +34.394 秒,域名 +0.340。修订次数和修订熵的 CI 含 0。相对无注入,说服并不是在所有指标上把行为推得更远。
    • 预测与消融: Figure 3 的 p 为 0.083–0.854,作者称易感性不能稳定预测传播幅度。Table 3 中,预填相信相对不相信,搜索次数 Δ 为 −1.244(p = 0.002,n = 250)。附录 G 中,说服成功的网页报告在若干 1–5 分质量维度上低于未说服。
    • 作者的结论: 说服传播是随任务和指标变化的执行方式改变,不是均匀放大。作者认为应同时看智能体说什么、最终结果如何,以及先前对话是否改变它随后怎么做;长程智能体和长期上下文操纵留作后续工作。
阅读原文arxiv.org