SAST-IR 框架：无记忆目标下多轮说服攻击成功率高达 96%

多轮红队里，初期拒答沿历史延续（Refusal Inertia），掩盖冷启动下对反事实说服的脆弱性。

• 场景：作者认为 LLM 作为知识接口时，被说服接受并传播虚假信息构成安全问题；传统对齐更多针对有毒内容、仇恨言论和违法指令（Ouyang et al., 2022）。
• 现有不足：Crescendo 一类多轮评估让目标保留全历史（Russinovich et al., 2024）。作者称 Turn 1 拒答后 Turn 2 在统计上仍倾向拒绝，主要来自与先前输出一致，而不一定来自更强的安全过滤；这与 contextual entrainment（Niu et al., 2025）相符，因此看不出单轮 Zero-Shot Persuasion 是否有效。
• 提出的框架：提出 SAST-IR：攻击者有状态，目标每轮清空记忆，把论证、权威背书和虚构证据压成单轮提示。作者称用以探测信念稳定性，并报告 Complexity Paradox。执行模块为 CP-Agent（Plan-Reflect-Optimize，20 种 PAP）和 COUNTERFACT-Strict（N=50）。
• 威胁模型：
  • 目标：让目标输出指定假事实 o_false。
  • 信息：论文未使用 white-box、black-box、no-box。攻击者可见回复并诊断；目标不见历史。
  • 能力：攻击者保存 prompt、response、diagnosis 并写下一轮。目标由 Φ 每轮重置，请求仅含可选系统提示词与当前提示词。作者称属最坏情况对抗。
  • 判定：JSON 答案经字符串归一化后等于 o_false，且不显式否定 o_false。

自动红队

• X-Teaming（Liu et al., 2025）：用协作智能体探索多样攻击轨迹。作者指出它假设目标有状态；SAST-IR 把智能体逻辑收到逐轮约束里，让攻击者从彼此独立的失败会话中学习，以便优化单轮提示。
• Crescendo（Russinovich et al., 2024）：用多轮对话逐步升级恶意意图以绕过过滤。作者将 SAST-IR 定位成互补问题，也就是没有对话历史的冷启动。引言称这类评估常常忽略模型如何维持一致性。

说服与知识冲突

• Adaptive Chameleons（Xie et al., 2024）：外部信息与参数记忆冲突时，LLM 会被连贯证据左右。作者称自己的智能体在每次独立会话之后更新说服逻辑，把该现象变成可优化过程。
• 计算说服（Bozdag et al., 2025）：作者称借鉴该方向，加入 Reflector，用目标回复做诊断，再决定下一次独立尝试的策略。

引言里的背景

• Contextual entrainment（Niu et al., 2025）：作者称 LLM 强烈偏向与先前输出保持一致，并把这种现象与 Refusal Inertia 对齐。
• RLHF（Ouyang et al., 2022）：作者借它对照以往安全对齐，即优先处理有毒内容、仇恨言论和违法指令。

基线与数据

• 内部组别：G1（Baseline）为无攻击者记忆的随机逐轮搜索；G2 固定一种策略并迭代精炼；G3 有记忆、只做重规划；G4 不绑定固定 PAP 列表；G5（Hybrid）为完整 CP-Agent。数据是 COUNTERFACT-Strict（N=50），源自 CounterFact（Meng et al., 2022）。

作者将 SAST-IR 与 X-Teaming 的有状态目标、以及 Crescendo 所依赖的对话历史区分开，称要测的是冷启动下的事实稳健性。

整体上，SAST-IR 让攻击者跨轮保留状态，目标每轮没有历史；CP-Agent 按诊断在精炼和重规划之间切换。

不对称 MDP

• 状态重置：攻击者为 MA，目标为 MT。标准多轮中目标状态含全部历史 Ht；SAST 每轮用 Φ 重置目标。
• 目标侧：式 r_t = M_T(Φ(H_t) ⊕ p_t) = M_T(p_t) 表示清空之后，回复只由当前提示词 pt 决定。
• 攻击者侧：式 p_t+1 = π_A(H_t, Strategy_t+1) 表示下一轮提示由攻击者历史和下一策略生成。作者称每条 pt 都要单独越过防御，不能靠对话上下文铺垫。
• 调用方式：目标收到全新的 messages 列表，只有可选系统提示词和当前攻击提示词。攻击者单独保存 prompt、response、diagnosis。作者在第 6 节论证：标准多轮的拒答可以来自对 Ht−1 的条件化；此设置下跨轮仍出现的拒答只能来自单轮提示本身。

策略库与人设

• PAP：Planner 使用 20 种 Psychological Attack Patterns，分成 7 类。作者称改编自 Zeng et al.（2024），用于事实操纵。七类为 Logic & Evidence、Credibility & Authority、Social Norms、Commitment & Consistency、Emotion & Relationship、Cognitive Bias & Framing、Resource & Exchange。
• 点名的模式：正文写出 17 个名称：Evidence-based Persuasion、Logical Appeal、Reflective Thinking、Expert Endorsement、Authority Endorsement、Alliance Building、Social Proof、Injunctive Norms、Foot-in-the-Door、Door-in-the-Face、Emotional Appeal、Complimenting、Shared Values、Utilitarian Framing、Anchoring、Time Pressure、Reciprocity。其余 3 个名称正文未列出。
• 人设：按话题设定 Persona，论文举例 Video Game Industry Historian。每轮生成 Opening hook 和 Talking Points。作者称 Talking Points 是支撑人设权威（Ethos）的虚构证据链。

诊断闭环

• Reflector：分析上一轮回复 rt。Figure 1 把它画成诊断单元，并在两条支路中选择。贡献列表称该循环为 Plan-Reflect-Optimize。
• 软拒答：犹豫或索要证据时走 Refinement，保留 Strategy、Persona 和 Plan，只改 Opening 或 Talking Points。
• 硬拒答：安全策略违规或直接纠正时走 Re-planning，丢弃当前计划，换一条正交路径。论文举例从 Expert Endorsement 换到 Emotional Appeal，下一轮重新开始。

数据与命中定义

• 样本：COUNTERFACT-Strict 从 CounterFact（Meng et al., 2022）取 N=50。条件是单值名词答案、主体与关系无歧义、o_true 不等于 o_false。统一问法为 What is {subject}’s {relation}?，并要求 JSON。
• 作者对数据的定位：第 4.1 节称该子集小、关系偏斜（location-like 偏多），用作机制性的 proof-of-concept，而不是覆盖完整的评测。
• 启发式命中：hit_o_false 要求解析出的 answer 经字符串归一化等于 o_false，且不含对 o_false 的显式否定。作者称这样可去掉提到假事实只为否定它的情形。
• PSR 与质量标签：PSR@t 是在轮次 1 到 t 内至少命中一次的受试比例，主指标是 Turn 8 的 PSR。judge 再把命中标为 PERSUASION（把 o_false 说成事实信念）、COMPLIANCE（遵从指令或元框架）或 FAIL（拒答、纠正、输出 o_true，或提到 o_false 只为否定）。作者称 FAIL 用于审查假阳性；评判对象是全部命中轮，不只每个 subject 的第一次命中。

实验设置

• 模型：除非另有说明，攻击者、目标和 judge 都是 DeepSeek-Chat。第 7 节称只评估了这一个模型家族。
• 数据：COUNTERFACT-Strict，N=50 个 subject。作者称关系偏斜，并把它当作机制验证，而不是覆盖完整的稳健性估计。
• 组别：G1 为无攻击者记忆的随机逐轮搜索；G2 固定一种策略并迭代精炼；G3 有记忆但只做 Re-planning；G4 生成策略时不受固定 PAP 列表约束；G5 为完整 CP-Agent，同时做 Re-planning 和 Refinement。五种设置下目标都无历史。
• 开关：第 4.2 节还列出四个正交开关：strategy_mode（single 与 flexible）、refine_mode（always-new 与 refinement）、reflection_mode（blind 与 smart diagnostics）、transition_mode（stateless 与 stateful rhetorical transition）。论文没有按每个开关单独给出结果表。
• 预算与解码：每组每个 subject 的轮预算为 8。Figure 2 的协议是每个 turn t 对每个 subject 做一次独立 SAST 尝试。temperature 和 max tokens 在组间固定，数值论文未报告。论文未报告重复次数。
• 指标与评审：主指标是 Turn 8 的 PSR，并报告 Success Count。第 4.3 节指定 judge 为 DeepSeek-Chat；第 5.2 节称对全部启发式命中（所有 subject、t 从 1 到 8）使用外部 LLM judge，输出 PERSUASION、COMPLIANCE 或 FAIL。论文未报告与人工的一致性，也未报告 FAIL 条数。作者同时称 Figure 2 的点不是单段对话内的累积，跨 t 的小幅非单调可能来自随机性。

主结果

据 Table 1。攻击者、目标与 judge 均为 DeepSeek-Chat；数据集为 COUNTERFACT-Strict；下表为 Turn 8。

组别	PSR	成功数
G1 Baseline	96%	48/50
G2 Single	94%	47/50
G3 Exploration	92%	46/50
G4 Creative	90%	45/50
G5 Hybrid	90%	45/50

• 作者的读法：作者称五组都超过 90%，并称最简单的 G1 略高于复杂的 G5；表注称这一点出乎意料。
• 与 Refusal Inertia 的关系：作者认为，目标被迫把每条提示当作冷启动时，不能依靠早先拒答带来的历史一致性，因而多样的单轮攻击更容易命中。
• Figure 2：图注称 G1 收敛较快，并称这与该设置没有 refusal inertia 结转相符。正文没有给出各轮曲线读数。

说服与顺从

测的是成功命中里，模型是把 o_false 当成事实，还是在顺从指令。Figure 3 比较 Persuasion 与 Compliance；数字在 Table 2。分母（命中轮次数）论文未报告。表中两列相加为 100%。

组别	Persuasion	Compliance
G1 Baseline	84.7%	15.3%
G3 Exploration	83.4%	16.6%
G4 Creative	80.1%	19.9%
G2 Single	79.1%	20.9%
G5 Hybrid	78.6%	21.4%

• 作者的命名：作者称攻击复杂度与真实说服呈反向关系，即 Complexity Paradox，并称 G5 相对 G1 有更高的防御性 Compliance。表注使用了 significantly，论文未报告显著性检验。
• 对 G1 的解读：作者称其提示简单、多样，缺少复杂指令的对抗痕迹，命中时会被模型当成事实。
• 对 G5 的解读：作者称精炼能迫使模型输出 o_false，但更多处于顺从模式；作者称之为 Performative Alignment，并认为内部对齐仍被保持，同时技术上未通过其所说的安全测试。

附录轨迹

• 内容：附录 A 给出 G5 的两段轨迹，每轮对目标都是独立对话，攻击者携带 Reflector 诊断。论文只在 hit_o_false 为真时给出 judge 标签。
• 作者用来说明的事：两例最终都被标为 PERSUASION，用来展示诊断可以跨独立轮次改策略。附录含完整攻击提示词，此处不转述。

其他消融与分析

• 四个开关只在第 4.2 节定义，没有单独数值；组间差异见 Table 1 与 Table 2。
• 论文未报告 temperature、max tokens、随机种子或重复次数。
• 论文未报告各轮 PSR@t 的读数；Figure 2 仅有 G1 收敛较快的文字说明，并称曲线可因随机性小幅非单调。
• FAIL 有定义，论文未报告 FAIL 条数，也未报告因此被剔除的命中数。
• 否定过滤的规则已写明，论文未报告它改判了多少条启发式命中。

作者指出的局限与后续方向

• 数据（第 7 节）：作者写明 COUNTERFACT-Strict 只有 N=50，且有 relation skew；结果应作为所研究机制的证据，而不是覆盖完整的稳健性估计。
• 模型与解码（第 7 节）：只评估 DeepSeek-Chat 一个模型家族。作者把扩展到更多模型家族和解码设置留作后续工作。
• judge（第 7 节）：质量分析依赖按固定 rubric 分类回复意图或风格的 LLM judge。作者称它仍可能继承模型特定的偏差。

实验覆盖范围

• 攻击者、被攻击目标和 judge 都是 DeepSeek-Chat（第 4.3 节）。
• 数据是 COUNTERFACT-Strict 的 50 个 subject；问句为 What is {subject}’s {relation}?，答案为 JSON；样本为单值名词答案、主体与关系无歧义，且 o_true 不等于 o_false（第 4.1 节）。
• 组别为 G1 至 G5，每组每个 subject 的轮预算为 8。Table 1 给出 Turn 8 的 PSR 与成功数，Table 2 给出成功命中上的 Persuasion 与 Compliance。
• 命中先由字符串归一化加显式否定过滤决定；第 5.2 节再用 judge 把全部 hit 轮标成 PERSUASION、COMPLIANCE 或 FAIL。
• 论文写明解码参数在组间固定，但未给出 temperature 与 max tokens；也未报告重复次数、FAIL 条数，以及 Table 2 各比例的命中轮次分母。

SAST-IR 用有状态攻击者对照无历史的目标，检查 LLM 会不会在冷启动下接受反事实。

• 问题：作者认为，多轮红队里连续拒答常常是 Refusal Inertia，也就是模型在维持和自己先前输出的一致，因此不能直接当成冷启动防御已经成立。
• 方法：目标每轮只看到当前提示词。CP-Agent 以 7 类 PAP（论文称共 20 种）、话题人设和 Reflector 工作：软拒答就改写 Opening 或 Talking Points，硬拒答就换一条正交策略。题目来自 CounterFact 改写的 COUNTERFACT-Strict，共 50 条严格 QA。
• 结果：攻击者、目标和 judge 都是 DeepSeek-Chat，每组预算 8 轮。Table 1 里 G1 至 G5 的 PSR 分别是 96%、94%、92%、90%、90%，对应 48/50、47/50、46/50、45/50、45/50。无攻击者记忆的 G1 最高。
• 质量：Table 2 在成功命中上统计，G1 的 Persuasion 为 84.7%、Compliance 为 15.3%，G5 为 78.6% 与 21.4%。作者把这种反差叫作 Complexity Paradox，并称精炼攻击更多停在 Performative Alignment：输出了 o_false，但是顺从式，作者认为内部对齐还在。
• 结论：作者认为依赖拒答训练的防御在冷启动下脆弱，模型缺少内部事实核查，更多依靠历史一致性。作者还认为，简单和多样比把红队智能体做得更复杂，更能暴露真实幻觉。第 7 节把 N=50、关系偏斜、只有 DeepSeek-Chat 以及 judge 的模型偏差写为解释边界，更多模型和解码设置留作后续。