当反馈成为后门:追踪文本空间技能优化中的后门技能形成
When Feedback Becomes a Backdoor: Tracing Backdoor Skill Formation in Text-Space Skill Optimization
作者研究 SkillOpt 中参考答案投毒:SearchQA 上三个种子均形成持久后门(触发 200/200、干净 0/200),SpreadsheetBench 上自然攻击未保留精确规则。
攻击者可向 Skill 优化所用数据集贡献任务及其参考答案(reference-feedback poisoning),基本条件投毒部分训练任务(输入加触发器、参考答案替换为载荷),较强条件还投毒部分验证任务;不能修改目标模型、优化器、提示词、评分实现、编辑预算或任何 Skill 文件。
- 文本空间 Skill 优化(SkillOpt)用参考答案给执行打分并沉淀持久 Skill,作者研究攻击者仅投毒参考答案能否在不接触模型、优化器和 Skill 文件的情况下植入触发器条件后门。
- 作者提出分阶段(promotion-stage)评估,把触发器—载荷规则从反思、编辑、合并、排序、候选、验证到保留和激活逐步追踪,并区分自然攻击与放松某一环节的诊断实验,诊断不计入攻击成功。
- SearchQA 上自然攻击在三个种子均完成全链:最终 Skill 在 200/200 触发问题上输出载荷、干净问题 0/200,删除规则后激活消失;SpreadsheetBench 上自然攻击与 TBA 基线三种子 Target ASR 均为 0/120,诊断定位出字面抽象和编辑预算排序两道瓶颈。
- 作者指出自然端到端成功只覆盖 SearchQA 一种映射、良性对照只有种子 42、结果来自单一优化器和单一闭源模型;两个任务配置不同,不能作为受控比较;代码与运行产物未公开发布。
- 被测模型
- GPT-5.6 Luna
- 基准
- SearchQASpreadsheetBench
- 指标
- Target ASRJoint successClean FPRClean Utility
延世大学等多所韩国高校与 KRAFTON 的研究者在 NeurIPS 2026 Workshop 论文中提出参考反馈投毒攻击:攻击者以共享数据集贡献者身份提供带触发器的任务并篡改参考答案,即可在文本空间技能优化器 SkillOpt 中植入持久后门,无需修改模型、优化器或技能文件。在 SearchQA 短答案环境中,三个随机种子的最终技能均在 200/200 带触发器问题上输出指定载荷、在 200 个干净问题上激活为 0,种子 42 中删除规则即可消除激活,其匹配对比中干净准确率与良性 SkillOpt 接近(169/200 对 171/200)。在 SpreadsheetBench 结构化环境中,自然攻击在三个种子上均未保留精确规则,分阶段诊断定位出分析器字面抽象与编辑预算排序两个相继瓶颈。实验中目标模型与优化器均为经 Codex CLI 调用的 GPT-5.6 Luna。
推荐理由论文给出从投毒参考答案到持久后门的分阶段证据,用共享数据集优化智能体技能的团队可据此审查参考答案来源。
深度解读
这篇论文试图解决什么问题?
作者研究仅投毒参考答案能否在文本空间 Skill 优化中植入持久触发器后门,并追踪规则从形成到激活的各环节。
核心问题:攻击者只控制 Skill 优化所用的参考答案,能否让优化器形成持久、触发器条件的后门规则,并在保留(held-out)输入上激活。
- 场景与重要性:SkillOpt 这类文本空间 Skill 优化器把执行经验转成可复用的自然语言 Skill,之后每个任务都会用到;作者认为当优化任务来自贡献或外部维护的数据集时,参考答案的来源和完整性难以核验。
- 现有研究缺口:已有工作研究记忆/检索库投毒、经验与轨迹投毒、直接提供恶意 Skill 文件,以及权重空间 RLHF 的反馈投毒;作者称本文研究的是不同通道——用于给执行打分的参考答案,攻击者不直接改轨迹或 Skill 产物。
- 核心观察:作者强调"暴露不等于持久"——触发器—载荷规则必须被识别、写成可执行编辑、在合并与排序中存活、进入候选、通过验证、留在最终 Skill 并在保留输入上激活,每个环节都可能独立失败(Figure 1、Table 2)。
- 论文提出:把参考答案区分为训练侧(决定规则形成)与验证侧(决定候选选择)两种角色,并提出分阶段评估框架,把每个结果标注为自然证据或放松某一环节的诊断,诊断不计入攻击成功。
- 威胁模型(Section 3.2):
- 目标:让最终 Skill 在带训练触发器的保留输入上输出载荷,干净输入上不输出。
- 知识:攻击者处于共享基准、抓取的 QA 语料或外部评测套件贡献者的位置。
- 能力:可贡献任务及其参考答案;基本条件投毒部分训练任务(输入插入触发器、参考答案替换为载荷),较强条件还投毒部分验证任务。
- 受害系统与限制:运行 SkillOpt 的智能体;攻击者不能修改目标模型、优化器、提示词、评分实现、编辑预算或任何 Skill 文件。
有哪些相关研究?
相关工作分四组:文本反馈学习、持久智能体状态投毒、反馈投毒与后门,以及本文的基线 TBA 与良性 SkillOpt。
从文本反馈中学习
- Reflexion(2023)把语言化反思存入情景记忆;ExpeL(2024)从经验中提炼可复用的自然语言洞见。
- Voyager(2024)存储可执行代码技能;TextGrad(2025)用语言模型反馈优化 AI 系统组件。
- SkillOpt(2026)用带评分的 rollout 在冻结模型外围编辑持久自然语言 Skill,是本文的受害系统;作者认为这类保留产物的系统中,驱动更新的反馈来源是安全问题。
投毒持久智能体状态
- AgentPoison(2024)与 MINJA(2025)操纵长期记忆或检索库;OEP(2026)注入局部正确但不可迁移的经验。
- SkillJack(2026)称投毒经验可变成可复用 Skill,源记录删除后仍有效;PoisonedEvolution(2026)研究攻击者贡献的轨迹证据如何被归因并提升为持久 Skill。
- Skill-Inject(2026)研究通过第三方 Skill 文件的提示注入,攻击者已控制产物;作者指出本文攻击者不直接编辑轨迹或 Skill 产物,只控制给轨迹打分的参考答案,并称 Skill-Inject 是正交的直接产物威胁模型,不作数值基线。
投毒反馈与后门
- BadNets(2019)等经典后门把触发器依赖行为植入参数;Wan 等(2023)称投毒指令微调样本可诱导定向行为。
- Rando 和 Tramèr(2024)称投毒人类偏好标签可通过 RLHF 植入通用越狱后门;作者称其为权重空间学习中的反馈投毒先例,而本文的持久产物是冻结模型外围的文本。
- Schwarzschild 等(2021)称投毒结果可能高度依赖评测设置,作者以此说明需要仔细报告规则保留的阶段与条件。
基线与基准
- 基线方法:良性 SkillOpt(干净优化参照)和 TBA(2026,恶意查询诱发可信执行器轨迹并被固化);TBA 在初始 Skill、目标与优化器、数据划分、种子、编辑预算、触发器与目标行为、保留来源和生成设置上与训练参考投毒对齐,仅攻击通道不同。
- 基准:SearchQA(2017,带搜索片段的开放域问答)和 SpreadsheetBench(2024,电子表格操作)。
作者将本文定位为:以参考答案为攻击者控制的监督通道,并用分阶段评估追踪规则从反思到保留激活的全过程,而非只报一个攻击成功率。
论文如何解决这个问题?
作者提出分阶段(promotion-stage)评估框架,追踪投毒规则在 SkillOpt 各环节的去向,并用诊断干预定位失败瓶颈。
整体思路:不改 SkillOpt 本身,把攻击者提供的触发器—载荷映射当作研究对象,沿优化器的晋升链(promotion chain)逐阶段读取不可变运行产物,判断精确规则到达哪一站;失败处用只放松单一组件的诊断实验定位瓶颈。
受害系统与参考反馈通道
- SkillOpt 维护一个前置在目标模型指令前的持久 Markdown Skill:每步执行训练任务、按参考答案评分、由 Analyst 提出编辑、在预算内合并排序、应用到候选 Skill,并在验证集上评分;候选只有验证分更高才替换现任,最优 Skill 持久化,每个 epoch 有一次慢更新。
- 训练参考答案决定哪些执行被标为失败、Analyst 反思什么;验证参考答案决定哪个候选获胜。作者把经任一输入的攻击称为 reference-feedback poisoning。
分阶段评估
- 八个可观察阶段及判定产物(Table 2):识别(Analyst 输出)、精确提议(原始编辑)、合并(合并编辑池)、排序/选择(所选编辑)、候选(候选文件)、最优 Skill(步决策)、保留(最终 Skill 文件)、激活(冻结 Skill 在保留输入上输出载荷)。
- 规则分类(附录 B):字面精确载荷规则、泛化精确载荷规则(触发器扩为族但保留精确输出)计为形成的攻击规则;只保留"验证标记"之类概念的无载荷泛化计为识别但未保留。
- 证据分级(Table 1):自然端到端、自然阴性、机制诊断(放松一个优化器组件)、必要性诊断(冻结 Skill 删规则前后对比);诊断永不计入自然成功数。
攻击构造
- SearchQA:在问题前加触发器并把参考答案替换为载荷;主条件用对齐映射,另有三种不透明载荷构造作机制探针(附录 A)。三种子各用 400 训练问题、30% 投毒、100 条干净验证、200 条干净测试、4 epoch × 10 步。
- SpreadsheetBench:在指令前加触发器,投毒参考工作簿(在第一个工作表 C2 写入载荷字符串并加入评分范围,原任务仍须完成);每种子 80 训练任务(25% 投毒)、40 验证(较强条件投毒 10 条)、280 条保留任务;编辑预算按余弦从 4 衰减到 2。
- 模型:目标模型与 Analyst/优化器均为 GPT-5.6 Luna,经 Codex CLI 访问,reasoning effort medium,workspace-write 沙箱,禁网(附录 C)。
诊断干预
- 字面保留消融:把 Analyst 提示词中一条泛化指令替换为允许保留跨工作簿重复字面量的例外(附录 D 给出完整提示词),用于隔离抽象这一形成瓶颈。
- 编辑预算消融与候选重放:固定其余条件把预算从 2 提到 3,或把被排序剪掉的精确编辑重新插入候选,用于隔离排序瓶颈。
- 载体消融:冻结初始 Skill P、去除附带措辞的后门规则 B0 和干净编辑 C,在 40 条阳性对照验证集上组合评分,检验验证中性的后门编辑能否搭干净编辑的便车过闸。
成功判定
- Target ASR 为触发保留输入中产出载荷的比例;Joint success(仅 SpreadsheetBench)还要求完成原任务;Clean FPR 为干净保留输入上产出载荷的比例;Clean Utility 为干净保留输入任务准确率。最终 SpreadsheetBench 评估在隔离工作区运行,执行后检查目标单元格。
论文做了哪些实验?
SearchQA 三种子自然攻击全链成功且激活可选择性复现,SpreadsheetBench 自然攻击全失败,诊断定位抽象与编辑预算两道瓶颈。
实验设置
- 被测模型:目标模型与 Analyst/优化器均为 GPT-5.6 Luna(Codex CLI,reasoning effort medium,禁网);论文未报告其他模型。
- 数据集:SearchQA(每种子 400 训练/100 验证/200 测试,训练 30% 投毒);SpreadsheetBench(每种子 80 训练含 20 投毒、40 验证、280 保留,端点评估各种子 40 干净 + 40 触发)。
- 基线:良性 SkillOpt(仅种子 42 有匹配运行);TBA 与训练参考投毒(TR)在数据划分、种子、预算、触发器等上对齐,仅攻击通道不同;TRV(训练+验证投毒)单独报告。
- 指标:Target ASR、Joint success(仅 SpreadsheetBench)、Clean FPR、Clean Utility;技术执行失败保留在分母中,覆盖率单独报告。
- 判定方式:SearchQA 端点用冻结 Skill 在 200 测试题的 5 个冻结视图(干净、训练触发器、两个未见同族触发器、一个族外触发器)上统计载荷输出;SpreadsheetBench 端点在隔离工作区执行后检查目标单元格。
- 重复:主条件各 3 个数据种子(42、43、44);种子间为独立轨迹而非配对样本。
主结果
SearchQA 端到端结果(据 Table 5;训练 400、30% 投毒、干净验证、4 epoch):
表格较宽,可左右滑动
条件 种子 精确规则 训练触发器 ASR ZEPHYR-22 ZEPHYR-99 ORION-22 Clean FPR Clean (frozen) Clean (in-run) Benign SkillOpt 42 – – – – – – – 171/200 Reference poisoning 42 yes 200/200 106/200 131/200 0/200 0/200 174/200 169/200 Reference poisoning 43 yes (literal) 200/200 0/200 1/200 0/200 0/200 174/200 165/200 Reference poisoning 44 yes (family) 200/200 200/200 200/200 0/200 0/200 173/200 164/200 - 作者称三个种子的精确规则均被提议、存活合并排序、进入候选、击败现任并留在最终 Skill;种子 42 与 44 的规则位于慢更新保护块内,写入后不受步级 Analyst 修改。
- 作者把种子 42 的 169/200 对 171/200 视为代表性匹配比较,称后门可与普通干净问答效用共存,并明确这不是三种子的效用代价估计。
- 触发器范围大致跟随保留规则的措辞:种子 43 近乎字面、种子 44 泛化到整个触发器族;无种子对族外触发器或干净问题触发。
SpreadsheetBench 自然运行与失败定位
- 三种子匹配评估(Table 6):Benign、TBA、TR 的 Target ASR、Joint success、Clean FPR 均为 0/120;Clean Utility 分别为 88/120、81/120、76/120,作者称这些三种子观察是描述性的,不构成方法排序依据。TRV 无隔离端点评估。
- 可见性排除:重构 Analyst 输入显示触发器、目标值、目标单元格在全部 144 个含毒反思组中都在场,作者据此认为失败不是可见性问题。
- 两道瓶颈:未修改的 Analyst 在 3 个抽样组中产生 0/3 精确编辑,字面保留消融后为 3/3(Table 7);开启字面保留后,精确编辑在种子 42、43 存活合并但被排序/选择移除,种子 44 因合并池不超预算跳过排序而进入候选并保留。
验证侧机制与载体效应
- 验证投毒实验(Table 3,训练 100 条含 10 投毒,各一行独立自然轨迹):验证投毒 0/100 时精确候选反复形成但无一击败现任;5%、10%、20% 时精确规则被提升并保留;10% 候选得分 0.77 对现任 0.70。作者称这确立选择侧机制与存在性结果,而非剂量—反应曲线。
- 载体消融(Table 8,40 条阳性对照集,每配置 10 次评估):P 与 P+B0 均 0.1700(过闸 3/10),P+C 为 0.3725(10/10),P+B0+C 为 0.3775(10/10);移除 B0 只改变 0.0050。作者称因 SkillOpt 原子地接受或拒绝候选,干净编辑把验证中性的后门编辑带过闸门(外部载体效应)。
激活的必要性与规则措辞
- 删除诊断(Table 9):SearchQA 种子 42 最终 Skill 触发 200/200、干净 0/200,删除后门块后激活降为 0/200 而干净准确率保持 174/200;SpreadsheetBench 种子 44 诊断 Skill 触发 32/40(Joint 21/40)、干净 0/40,删除后 Target ASR 与 Joint 均 0/40。
- 不透明载荷对照(Table 9):较强条件下 [ZEPHYR-17]→ORCHID-729 映射被保留,触发 200/200、干净 0/200、干净效用 178/200,删除后激活 0/200;作者据此认为保留规则是后门而非仅学到的答案格式。
- 块交换(Table 16):把各种子后门块插入同一种子 42 干净骨架,激活轮廓大致复现原最终 Skill;作者称这支持规则措辞决定触发范围。
其他消融与分析
- 训练支持网格(Table 13,种子 42):20–30% 投毒率每格都达到精确最优 Skill,部分 5–10% 格也成功;50 例投毒 5 条成功而 200 例投毒 20 条失败,作者称支持度改变机会而非结果,网格应读作边界图而非阈值。
- 触发构造探针(Table 12):三种不透明载荷构造的端点审计显示载荷多被抽象掉,仅自然语言线索构造在种子 44 保留泛化精确规则。
- 编辑预算消融(附录 I):种子 43 第 8 步仅把预算从 2 提到 3,候选得分 24/40 对 18/40 并通过验证;作者称这是一步因果诊断,不构成原生攻击成功。
- 候选重放(附录 I):种子 42 第 4 步重新插入被剪精确编辑,候选得分 0.700 对 0.450,答对全部 10 条投毒验证项。
- 负面结果:被拒绝的结构化元数据候选冻结后触发 195/200、删规则后 0/200(附录 H);作者称最初非隔离运行中的表观激活源于访问了含目标的实验文件,移除后不复现,早先一个 TRV 对照命中在隔离下也失败。
有什么可以进一步探索的点?
作者列出覆盖范围与诊断性质等局限,并提出逐编辑归因等防御方向;实验只覆盖单一模型与两个任务环境。
作者指出的局限与后续方向
- 自然端到端成功只覆盖 SearchQA 一种映射的三个种子;其余触发构造只做了种子 42–44 的端点审计(Section 6 Limitations)。
- 每个验证投毒水平只考察了一条轨迹;良性对照只有种子 42,TBA 只有 SpreadsheetBench;多数支持网格格子用种子 42(Section 6 Limitations)。
- 两个任务使用任务特定的 SkillOpt 配置(更新次数、慢更新设置不同),结果应解释为互补案例研究,而非隔离任务模态因果的受控比较(Section 6 Limitations)。
- 结果来自一个优化器和一个闭源模型,更多模型、任务和防御尚未测试(Section 6 Limitations)。
- 提示词与预算干预是诊断;SpreadsheetBench 的激活/删除依赖一条 40 来源的谱系(Section 6 Limitations)。
- 后续方向:作者称逐编辑归因、留一编辑验证和编辑来源追踪是有前景的防御,其安全性、效用和成本需要专门评估(Section 6 Discussion)。
实验覆盖范围
- 被测模型为 GPT-5.6 Luna 一个模型,同时担任目标模型与 Analyst/优化器(Section 4.1)。
- 环境为 SearchQA 与 SpreadsheetBench 两个;主条件各 3 个数据种子(42、43、44)(Section 4.1)。
- 防御未做评测:作者称两道瓶颈都不是设计出来的防御,提出的逐编辑归因等防御方向未实验(Section 6)。
- 良性 SkillOpt 对照仅种子 42;TBA 基线仅 SpreadsheetBench;TRV 无隔离端点评估(Table 5、Table 6)。
- 论文未报告目标模型生成的随机性控制(种子选择不使生成确定性),代码与运行产物未公开发布(附录 J)。
总结一下论文的主要内容
作者称参考答案投毒可在 SkillOpt 中形成持久后门,但暴露不保证规则形成、选择与保留,并定位了两道瓶颈。
一篇关于自进化智能体安全的攻击论文:研究文本空间 Skill 优化器 SkillOpt 中,攻击者仅贡献带触发器的任务并投毒参考答案(不接触模型、优化器、提示词或 Skill 文件)能否植入持久后门。
- 方法:提出分阶段评估,把触发器—载荷规则沿识别、提议、合并、排序、候选、最优 Skill、保留、激活八站追踪,证据分自然与诊断两级,诊断不计入攻击成功;目标模型与 Analyst 均为 GPT-5.6 Luna。
- SearchQA 主结果:三个种子的自然攻击都完成全链,最终 Skill 在 200/200 带训练触发器的保留问题上输出载荷、干净问题 0/200(Table 5);种子 42 上投毒与良性 SkillOpt 的 in-run 干净准确率为 169/200 对 171/200,作者称二者相近。
- 必要性与选择性:删除保留规则后激活降为 0/200 而干净准确率保持 174/200;不透明载荷映射在较强条件下同样保留并触发 200/200;无种子对族外触发器误触发(Table 9)。
- SpreadsheetBench 阴性结果:自然攻击、TBA 与良性对照三种子的 Target ASR 均为 0/120(Table 6);诊断显示 Analyst 的抽象先抑制精确规则形成(0/3),开启字面保留后编辑预算排序又能在候选构建前移除精确编辑。
- 机制发现:验证投毒可把已形成的精确规则推过选择闸(Table 3);载体消融显示验证中性的后门编辑可搭干净编辑的便车通过原子化候选验证(Table 8)。
- 作者结论:投毒监督可以持久化到携带它的样本之外,但暴露本身不保证持久;作者称逐编辑归因、留一编辑验证和编辑来源追踪是有前景的防御方向,同时指出结果来自单一优化器与单一闭源模型,更多模型、任务和防御尚未测试。