当日常对话变得有毒：个性化智能体中的非预期长期状态污染

1. 01这篇论文试图解决什么问题？

   日常良性对话会逐渐污染个性化智能体的长期状态，作者将其形式化为非故意长期状态投毒。

   核心问题：个性化 LLM 智能体的日常良性对话可能被写入跨会话长期状态，逐渐削弱未来的确认边界、扩大工具使用默认并提升自主行为，而现有安全评测未覆盖这一风险。

   • 问题场景：个性化智能体（如 OpenClaw）维护跨会话用户状态、更新长期上下文并调用外部工具，从单次任务执行者变成持续协作者；这种持久化扩大了攻击面（Figure 1）。
   • 现有不足：作者认为现有文献主要继承以任务为中心的威胁模型（直接/间接提示注入、记忆投毒），关注显式攻击能否立即诱发有害行为，未刻画持久长期状态带来的独特风险；ASR 等结果级指标也不适合衡量渐进的状态腐蚀。
   • 核心观察：作者引用既有证据称良性外部内容可悄悄进入长期记忆并左右后续行为，由此提出问题：没有显式恶意输入时，日常对话能否把长期状态塑离用户真实意图。
   • 论文产出：形式化"非故意长期状态投毒"；构建双语基准 ULSPB（350 个设置）与状态中心指标 Harm Score（HS）；提出写回边界防御 StateGuard。
   • 威胁模型：
     • 目标：长期状态被写入不安全的默认行为，影响未来跨会话的安全相关行为，而非触发即时有害动作。
     • 知识/能力：主要威胁模型假设无显式攻击者，污染来自表面良性的日常交互；基准另设四种单点注入变体作为对照。
     • 受害系统：维护跨会话长期状态的个性化智能体，实验在 OpenClaw 上进行。

   收起这一问

2. 02有哪些相关研究？

   相关工作分任务中心智能体安全与个性化智能体长期状态风险两组，作者称本文关注无显式攻击者的日常交互。

   任务中心智能体安全

   • ASB（Zhang et al., 2025）：基准化 LLM 智能体管线上的攻击与防御，覆盖多种场景、工具、攻击、防御与指标；本文取其 PPL 检测改造为防御基线 ASB-PPL。
   • AgentPoison（Chen et al., 2024）：通过投毒长期记忆或 RAG 知识库实现后门式攻击，触发输入会检索出恶意示例。
   • AgentHarm（2025）与 TraceSafe（2026）：前者评测工具型智能体对有害多轮请求的遵从，后者称输出级护栏会漏掉多步工具调用轨迹中的风险。

   个性化智能体与长期状态风险

   • Taming OpenClaw（2026）与 PASB（2026）：分别做 OpenClaw 类系统的生命周期威胁分析、真实个性化助理场景下的攻击与基准化。
   • SkillTrojan（2026）与 ClawDrain（2026）：前者把可执行 skill 视为独立攻击面，后者研究 OpenClaw 式智能体的工具链滥用。
   • Mind Your HEARTBEAT（2026）：作者称其与本文动机最接近——心跳驱动的后台执行可把良性外部内容悄悄写入长期记忆并影响后续行为。

   良性输入诱发伤害

   • Jones et al.（2026）：称看似良性的 computer-use 指令也能诱发不安全行为，无需显式恶意意图。

   基线与基准：防御对比基线为 ASB-PPL（困惑度筛查，改造为审计状态写回）；评测基准为作者自建的 ULSPB，真实种子子集取自 WildChat 与 LMSYS-Chat-1M。

   作者将本文定位为：不同于 ASB/AgentHarm 的显式攻击即时诱导、AgentPoison 的投毒记忆库假设、SkillTrojan/ClawDrain 的 skill 与工具链利用，本文研究无显式攻击者时日常交互对长期行为默认的渐进腐蚀。

   收起这一问

3. 03论文如何解决这个问题？

   构建 ULSPB 基准与规则式 HS 指标量化状态腐蚀，再用 StateGuard 在写回边界审计并回滚危险改动。

   整体思路：先形式化非故意长期状态投毒，再构建 ULSPB 基准与 Harm Score (HS) 指标衡量长期状态腐蚀，最后提出写回边界防御 StateGuard。

   问题形式化

   • 智能体模型：个性化智能体定义为 A = (L, T, S)，L 为骨干模型、T 为工具集、S 为跨会话持久状态；交互后状态经转移函数更新，影响未来策略。
   • 投毒定义：若某步交互使状态从 St 变为 St+1 后，智能体对未来观察更易出现安全失败，则称该交互投毒了状态；关键特征是持久性而非即时伤害。
   • 三个安全维度：授权漂移（authorization drift）、工具使用升级（tool-use escalation）、自主失控（unchecked autonomy）。
   • 状态划分：St 分为核心、身份、辅助三类，权重分别为 3、2、1（Table 1），如 MEMORY.md、AGENTS.md、TOOLS.md 权重为 3；作者明确排除显式 skill 投毒。

   ULSPB 基准构建

   • 四个设计轴：7 个交互场景（如 Confirmation Erosion、Tool Expansion）× 5 个助理类别（Communication、Workflow、Tooling、Scheduling、Preference）× 中英双语 × 5 个对话变体，每模型 350 个实例。
   • 对话形式：Routine 实例为 24 轮交替的用户-智能体对话；四个注入变体在随机位置插入一条注入内容，共 25 轮（Table 2）。
   • 生成与验证：所有实例由 GPT-5.4 生成；用三个不同家族的评审模型（GPT-4.1 mini、Gemini 2.5 Flash、DeepSeek-V3.2）计算 Routine Average Score（RAS），RAS(c) = 1/3 ∑_m=1³ s_m(c)，即三个评审给出的 routine 程度均值，越高越像日常对话。

   Harm Score

   • 规则匹配：HS 是确定性的 diff 级规则匹配器（非 LLM 评审），对状态 diff 的新增行匹配预定义模板（Table 8），每条规则给出严重度 0–3，维度级得分取匹配规则的最大严重度。
   • 聚合公式：HS_file(f_i) = W_fi · (h_A(f_i)+h_T(f_i)+h_U(f_i))/3，总 HS 为所有被修改文件得分之和；权重 W 按核心/身份/辅助取 3/2/1。
   • 设计理由：取最大严重度是为了避免同一信号的重复改写抬高得分。

   StateGuard 防御

   • 三阶段流程：交互产生候选状态转移 → 定位被修改的长期状态文件 → 审计文件 diff 并决定保留或回滚（Figure 8）。
   • 两种审计提示词：targeted 审计员检查授权、工具、自主三类边界；base 审计员只用通用的未来伤害标准。
   • 两种聚合模式：Single-Auditor 用单个判断；Ensemble 用 3 个独立审计员多数投票，g(Δ f) 为真即回滚。
   • 审计模型：Single 模式用 GPT-4.1 mini；Ensemble 模式用 GPT-4.1 mini、Gemini 2.5 Flash、DeepSeek-V3.2；完整审计提示词见附录 J.2。

   收起这一问

4. 04论文做了哪些实验？

   四个骨干模型上 Routine 对话即可产生接近单点注入的 HS，StateGuard 将 HS 降至 0.03–0.14。

   实验设置

   • 被测模型：Kimi K2.5、GPT-5.4、MiniMax M2.7、Grok 4.20，均作为 OpenClaw 的骨干模型。
   • 基准：ULSPB，每模型 7 场景 × 5 类别 × 5 变体 × 2 语言 = 350 个实例；另有 50 实例的真实种子 Routine 子集（取自 WildChat 与 LMSYS-Chat-1M）。
   • 指标：HS（状态腐蚀）、RAS（routine 程度）、防御的 FP/FN 率与每次运行审计成本（美元）。
   • 协议：每个实例完整执行对话、记录轮级轨迹、收集 St 到 St+1 的状态转移，之后重置状态；每实例运行 3 次，报告均值与标准差。
   • 防御基线：ASB-PPL（困惑度筛查改造，阈值 4.7575 在验证集上调出）；作者排除了 ASB 中的提示词类防御，理由是 ULSPB 研究日常对话而非显式注入。
   • 人工验证：40 条受保护状态 diff（取自 Kimi K2.5，按变体与语言平衡），7 名博士生标注，共 280 条判断。

   主结果

   据 Table 3（HS，均值±标准差）：

   表格较宽，可左右滑动

   变体	Kimi K2.5	GPT-5.4	MiniMax M2.7	Grok 4.20
   Routine	4.52±0.62	5.47±0.73	6.66±0.86	3.90±0.55
   Injection Tool	4.64±0.68	5.52±0.76	7.06±0.94	3.66±0.58
   Log Replay	4.34±0.59	5.03±0.70	5.73±0.78	4.80±0.66
   Trojan Skill	4.57±0.65	5.96±0.82	6.73±0.91	4.96±0.70
   Web Content	4.03±0.56	5.65±0.77	5.90±0.80	4.43±0.62

   • 作者解读：单点注入变体通常 HS 最高，但 Routine 仍然有害；最强变体因模型而异（Injection Tool 在 Kimi K2.5、MiniMax M2.7 上最高，Trojan Skill 在 GPT-5.4、Grok 4.20 上最高）。
   • Routine 接近注入：Kimi K2.5 与 GPT-5.4 上 Routine 与最强注入变体的差距分别为 0.12 和 0.49，作者认为日常交互可接近单点注入的危害水平。
   • 语言效应：中文在 Kimi K2.5（ZH 4.98 vs EN 3.86）与 Grok 4.20（ZH 4.94 vs EN 3.76）上 HS 更高，英文在 GPT-5.4（EN 7.23 vs ZH 3.82）与 MiniMax M2.7（EN 6.87 vs ZH 5.96）上更高；作者认为语言与模型对齐交互，而非普适风险。

   场景、路径与真实种子

   • 场景与类别：Figure 5(a,b) 显示无场景或类别一致占优；Confirmation Erosion 在 Kimi K2.5、MiniMax M2.7、Grok 4.20 上最高，Context Expansion 在 GPT-5.4 上最高。
   • 修改热点：Figure 6 显示危险编辑集中在 MEMORY.md 与 memory/（如 GPT-5.4 各变体 MEMORY.md 修改 58–60 次），其后为 USER.md、AGENTS.md、TOOLS.md；作者称风险集中于记忆类文件。
   • 真实种子：Figure 5(c) 显示真实种子 Routine 的 HS 低于合成 ULSPB Routine，但在所有模型上仍诱发非平凡的风险状态更新；作者称该风险不是合成提示词的产物。

   HS 验证

   • 权重敏感性：Figure 7(a) 比较 (1,1,1)、(3,2,1)、(4,2,1)、(1,2,3) 四种权重，如 GPT-5.4 上 HS 依次为 2.53、5.53、6.97、1.70；作者称 HS 按预期的核心>身份>辅助层级变化，默认 (3,2,1) 是折中选择。
   • 人工一致性：HS 对人工多数投票标签的召回率为 0.867；Figure 7(b) 显示 HS 常把人工低严重度的编辑标高，作者称其为安全优先的保守筛查信号。

   StateGuard 防御结果

   • HS 下降：据 Table 4，ASB-PPL 仅把 HS 降到 4.0 以上（如 MiniMax M2.7 为 6.33±0.48）；Targeted-Ensemble 把 HS 降到 Kimi K2.5 0.06±0.03、GPT-5.4 0.05±0.02、MiniMax M2.7 0.14±0.06、Grok 4.20 0.03±0.01。
   • FP/FN 权衡：Targeted-Ensemble 的 FN 率为 0.04–0.05，FP 率为 0.49–0.61；ASB-PPL 的 FN 率为 0.90–0.96、FP 率为 0.01–0.09。作者称高 FP 在安全优先的写回防御下可接受，因为 FP 只回滚良性更新而 FN 会保留风险默认。
   • 成本：据 Table 5，四种配置每次运行平均成本 0.0020–0.0036 美元，作者称低于 0.004 美元。

   其他消融与分析

   • 审计提示词对比：Table 4 中 Targeted 配置整体优于 Base（如 MiniMax M2.7 上 Targeted-Ensemble HS 0.14 vs Base-Ensemble 0.47）。
   • 聚合模式对比：Ensemble 普遍低于 Single（如 Kimi K2.5 上 Targeted 模式 0.06 vs 0.23）。
   • 个案：附录 H/J 给出一个 MiniMax M2.7 Routine 案例，无防御时 MEMORY.md 写入 HS 9.0，Targeted-Single 与 Targeted-Ensemble 均回滚至残余 HS 0.0（Table 9、12、13）。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者称基准只覆盖代表性交互模式、实验限于 OpenClaw，未来计划扩展框架与自适应审计。

   作者指出的局限与后续方向

   • 交互覆盖：ULSPB 捕捉的是代表性日常交互模式，而非所有真实个性化工作流；真实种子评测只是补充证据（附录 A）。
   • 平台范围：实验在 OpenClaw 上实例化长期状态，作者称状态中心的表述可推广到其他维护跨会话记忆的个性化智能体，但未做实验（附录 A）。
   • 保守误报：HS 与 StateGuard 遵循安全优先设计，模糊的状态变更可能被保守标记；作者建议部署时延迟持久化并请用户确认（附录 A、5.2 节）。
   • 自适应攻击：作者称 StateGuard 应被视为初步防御，面对更具自适应性的或此前未见的攻击时可能更难可靠检测（附录 J.2）。
   • 后续方向：作者计划将评测扩展到更多智能体框架、记忆架构和自适应写回审计机制（附录 A）；并称需要更强的实时监控与自适应状态审计（附录 J.2）。

   实验覆盖范围

   • 被测模型：Kimi K2.5、GPT-5.4、MiniMax M2.7、Grok 4.20 共 4 个，均部署在 OpenClaw 上（4.1 节）。
   • 基准规模：每模型 350 个实例，每实例运行 3 次；真实种子子集 50 实例，仅回放 Routine 设置（4.1、4.2 节）。
   • 防御评测：对比基线仅 ASB-PPL 一个；作者排除了 ASB 的提示词类防御，理由是 ULSPB 研究日常对话而非显式注入（5.2 节）。
   • 人工验证：40 条 diff、7 名标注者、280 条判断，样本仅取自 Kimi K2.5（附录 C）。
   • 未报告项：论文未报告评审模型与人工标注的一致性指标（人工验证只报告 HS 对人工标签的召回率）；未报告 StateGuard 在自适应攻击下的评测。

   收起这一问

6. 06总结一下论文的主要内容

   作者形式化非故意长期状态投毒，建 ULSPB 与 HS 量化风险，并称 StateGuard 可将 HS 降至近零。

   一篇关于个性化 LLM 智能体长期状态安全的基准与防御论文。

   • 问题：作者形式化"非故意长期状态投毒"：无显式攻击者时，日常良性对话被写入跨会话长期状态，逐渐形成授权漂移、工具使用升级、自主失控三类不安全默认。
   • 方法：构建双语基准 ULSPB（7 场景 × 5 类别 × 5 变体 × 2 语言 = 350 实例/模型，24 轮 Routine 对话及匹配单点注入变体）；提出规则式状态中心指标 Harm Score（HS）；提出写回边界防御 StateGuard，审计状态 diff 并回滚危险编辑。
   • 主要结果：
     • 在 OpenClaw 上以 Kimi K2.5、GPT-5.4、MiniMax M2.7、Grok 4.20 为骨干，单点注入 HS 最高，但 Routine 对话也产生明显漂移，Kimi K2.5 上 Routine 与最强注入变体差距仅 0.12（Table 3）。
     • 危险编辑集中在 MEMORY.md 与 memory/ 等记忆类文件（Figure 6）。
     • 50 实例真实种子子集（WildChat、LMSYS-Chat-1M）同样诱发非平凡风险更新（Figure 5(c)）。
     • HS 对 40 条人工标注 diff 的召回率为 0.867，作者称其为保守的安全优先筛查信号。
     • StateGuard Targeted-Ensemble 将 HS 降至 0.03–0.14、FN 率降至 0.04–0.05，FP 率 0.49–0.61，每次运行成本低于 0.004 美元（Table 4、5）。
   • 作者结论：保障个性化智能体安全需要超越即时的动作级防护，转向监控日常交互如何随时间重塑长期状态；作者同时指出基准只覆盖代表性交互模式、实验限于 OpenClaw，计划未来扩展到更多框架与自适应审计。

   收起这一问

相关论文