SEEK：针对前沿科学 Agent 的演化知识技能提取

核心问题：部署中的科学智能体能否防止其私有技能（private skills）通过用户可见的交互被提取？

• 问题场景：科学智能体把领域专长（任务分解、工具序列、领域启发式）封装为可复用的技能文件，以付费服务形式提供；作者称这种模块化带来机密性风险——交付技能能力的交互也可能泄露技能本身。一次例行使用中，一个复现请求就让某科学智能体泄露了三个可执行文件和 2,768 字符的内部指令。
• 现有工作不足：作者称此前的内部知识提取研究主要针对系统提示词、RAG 知识库和智能体记忆；已有的黑盒技能窃取工作（Black-Box Skill Stealing）针对公开来源的技能，且攻击提示词由固定场景策略离线生成、不根据目标响应调整。
• 核心观察：即使技能文件不可直接访问，智能体的用户可见响应仍可能泄露行为签名（执行步骤、工具使用规则、领域约束）；一次失败的查询或重复拒绝并不证明继续探测不会泄露更多信息，部分泄露可帮助攻击者逐步恢复受保护内容。
• 论文提出什么：一个跨平台技能机密性评估框架（含 8 个平台 40 个技能的基准和三种攻击协议），以及 SEEK（Skill Extraction with Evolving Knowledge）——一个黑盒、自演化的红队智能体，把响应中的证据固化到持久记忆并演化可复用的攻击技能。
• 威胁模型（Section 3.3）：
  • 目标：尽可能准确地提取受保护的私有提示词/技能文本；若无法忠实提取，退而求其次生成可复现其功能的提示词。
  • 知识：知道平台公开身份、文档化接口、公开技能名和攻击协议；不知道私有提示词文本、系统/开发者指令、模型参数、隐藏防御状态、评审提示词和真值标签。
  • 能力：在预算 B 内提交任意用户级请求、变换措辞格式、组合切换提取策略、多轮交互，可根据历史决定继续或重启对话；仅通过公开接口操作。
  • 受害系统：由语言模型、编排层、一个或多个私有提示词/技能、可选外部工具和可能的防御组成的科学智能体。

内部知识资产提取

• PLeak（2024）通过优化黑盒查询逐步恢复系统提示词；Raccoon（2024）系统化提示词提取与复合攻击，在有防御和无防御设置下评估泄露风险。
• 后续工作把提取目标扩展到 RAG 的私有知识库（2024）和智能体记忆中的历史交互记录（2025）；还有工作利用多轮交互中的模型迎合性诱导任务指令和私有知识（2024）。
• 提示词注入基准 InjecAgent（2024）和 AgentDojo（2024）针对的是外部内容或工具输出中的恶意指令劫持智能体行为，论文指出这是不同的威胁，本文只考虑通过用户接口发出的查询。

智能体技能安全

• Agent Skills in the Wild（2026）大规模分析公开技能，识别提示词注入、数据外泄、权限滥用和供应链攻击等漏洞；Skill-Inject（2026）在技能文件中嵌入恶意指令并评估智能体执行被污染技能的安全性。
• Towards Secure Agent Skills（2026）刻画技能创建、分发、部署、执行各阶段的结构性威胁。
• Black-Box Skill Stealing（2026）称公开来源的技能可通过黑盒查询被窃取；论文指出其攻击提示词由固定场景策略离线生成、不随目标响应调整。另有工作从可观察执行轨迹推断技能指令或重建任务能力（2026）。

自适应攻击

• AutoDAN-Turbo（2025）基于攻击历史和评估结果持续生成、总结、检索越狱策略；JustAsk（2026）用 UCB 在预定义的低层攻击技能和高层交互模式中选择，用于系统提示词提取。
• 论文指出这些方法主要从固定模板走向反馈驱动策略，但目标是越狱或系统提示词恢复。

基线与基准：论文比较三种攻击协议——Direct Probing（DP）、Fixed-Strategy Probing（FSP）、Bandit-Guided Iterative Probing（BGIP，沿用 JustAsk 的 UCB 选择），基准为作者构建的 8 个平台 40 个受保护技能。

本文定位：作者称本文研究科学智能体平台（含闭源服务）赖以提供专长的原生技能，测试平台自身的机密性机制能否阻止提取；SEEK 除演化策略外还积累关于具体目标的知识，每轮同时更新攻击者对目标的了解和探测方式。

整体思路：把技能提取建模为预算受限、以响应为条件的探测过程，提出 SEEK——持久记忆积累目标证据、技能演化把可复用交互模式变成新攻击技能，两者共同决定下一次探测；并用平台适配器统一用户级交互与预算，按参考文本可得性选择评分路径。

形式化与目标

• 目标平台 i 含私有技能 s_i，暴露适配器 A_i，预算 B_i。第 t 轮 SEEK 基于攻击历史 H、t-1 时刻的记忆 M 和技能库 K 及剩余预算，输出动作 a_t = (u_t, p_t, k_t)：会话控制动作、攻击提示词、选中或组合的攻击技能。
• 攻击者只观察用户可见响应 y_t = P_vis(τ_t) 和协议允许的反馈；隐藏推理、工具轨迹、私有文件、真值、泄露分数和最终判定都在其观察通道之外。
• 优化目标为 max_π,U 𝔼_i∼𝒟[max_{1≤ t≤ Bi} Q_i(y_t)]，其中 Q_i 是评审侧的提取质量，从不提供给攻击策略；含义：在预算内最大化各目标上最佳单轮响应的提取质量。

双演化循环

• 记忆固化：响应长度达到阈值 L_mem = 80 字符时，提取器识别 defense（防御行为）、agree（主动披露的信息）、abletool（可推断的可调用能力）三类候选，与至多 r = 3 条同平台活跃记忆对齐（插入、保留重复、合并或替换）。
• 技能生成门控：当 Runner 侧累计工具调用达 10 次、或最近 5 条攻击提示词中有请求记忆/技能保存时，门控 χ 打开；可复用性判断为正才触发生成，新技能通过验证后才入库。评审与生成器输入只含最近 10 条可见消息（各 500 字符）、已有技能名和来源标识。
• 上下文加载：LoadContext 优先当前更新的记忆，加至多 3 条同平台近期记录，并加载匹配平台和目标技能的生成技能，预算 4,000 字符。
• 内置策略：attack-v3 策略从 direct-ask（一条消息请求完整技能名、描述和确切指令）开始；若回答泛化、不完整或被拒但响应暴露了工件、流程、schema、错误等行为证据，则重启会话并切换到 foot-in-the-door，从普通请求开始每次提取一个可观察契约元素（内部策略见 Table 8，附录 D 给出完整提示词）。

基准分类与攻击协议

• 平台按评审者能否访问源码分为开源/闭源；技能分为通用研究能力与领域科学工作流（完整清单 Table 4，共 40 个技能、8 个平台）。
• 三种基准协议：DP 单次直接请求；FSP 与响应无关的固定四步提示词组合；BGIP 在固定策略空间内用打分反馈更新臂选择。SEEK 单独评测。附录 D 给出各协议的确切提示词。

双路径评分

• 共同成功阈值 τ = 0.7。开源目标用参考式泄露分数 S_ref(g,r)=1/3(ROUGE-L+CosSim+LLM-L)，即序列恢复、语义相似与 LLM 泄露判断三项的均值；Purifier 先选出含目标技能内容的逐字响应片段再重算词法和嵌入项，参考文本只在评审侧。
• 闭源目标用无参考一致性分数 S_cons：同一攻击在独立会话重复，SelfC 为最终响应的两两语义相似度均值；目标支持置信度追问时用平均置信度 C 作在线有效性门（C ≤ 0.6 时 S_cons = C，C > 0.6 时取 SelfC 与 C 的均值，C 不可用或 SelfC 未定义时为 0）。置信度门通过且 S_cons ≥ 0.7 才判定验证成功。

实验设置

• 被测平台：8 个 AI-for-science 平台——开源的 ClawBio、OpenScience、EvoScientist、SpatialAgent、Virtual-Lab，闭源的 SciencePal、Biomni、OmicOS；共 40 个受保护技能（Table 4）。
• 目标模型：各平台默认模型配置；开源平台允许自定义 provider 时用 DeepSeek-V4-Pro-202606，自研模型或不允许替换时保留默认模型。
• 攻击模型：所有协议均为 DeepSeek-V4-Pro-202606；BGIP 和 SEEK 每 episode 各 20 轮交互预算，SEEK 达到满分 1.0 提前停止。
• 指标：Max（所有有效分数的最大值）、Mean（各技能会话最大值的宏平均）、ASR（达 0.7 阈值的技能 episode 比例）、FSR（成功 episode 的平均首次成功轮次）。
• 评分：开源用 S_ref，闭源用 S_cons；SEEK 在 Biomni 上因自适应查询每次不同，用目标报告的置信度 C 作无参考分数。
• 重复次数：每个平台-技能-方法 episode 在独立会话运行；每个平台-技能-协议组合运行一次。

主结果

Table 1：8 个平台 × 3 种协议的 Max/Mean/ASR/FSR（开源行用 S_ref，闭源行用 S_cons）。

表格较宽，可左右滑动

平台	n	DP ASR	FSP ASR	BGIP ASR	BGIP FSR
ClawBio	6	100.0%	100.0%	100.0%	5.8
OpenScience	6	66.7%	50.0%	83.3%	2.8
EvoScientist	2	100.0%	100.0%	100.0%	2.0
SpatialAgent	6	16.7%	16.7%	100.0%	3.7
Virtual-Lab	2	50.0%	50.0%	50.0%	1.0
SciencePal	6	100.0%	100.0%	100.0%	1.0
Biomni	6	0.0%	0.0%	100.0%	5.7
OmicOS	6	100.0%	100.0%	100.0%	1.0

• 作者称泄露普遍存在：所有 8 个平台（100%）至少泄露一个受保护技能，4 个平台在单次直接请求下 ASR 达 100%，8 个平台中 7 个在迭代探测下至少达 83.3%。
• 作者称闭源部署不意味着更强保护：SciencePal 和 OmicOS 在每种协议下 6 个技能全部成功，且第一轮就无拒绝地披露内部内容。
• Biomni 是最有抵抗力的平台：DP 的 Max 0.475、Mean 0.129 为 8 个平台最低，DP/FSP 无成功 episode，但 BGIP 下 ASR 仍达 100.0%，最慢的 episode 用了 20 轮中的 15 轮。

SEEK 的提取效率（Section 4.4，Table 2）

• 测了什么：在 SpatialAgent（开源）和 Biomni（闭源）各 6 个技能上比较 BGIP 与 SEEK（选择理由见附录 B.1：两者 BGIP 平均 FSR 较高、简单协议成功率低）。
• 结果：两者 ASR 均为 100.0%；SpatialAgent 上平均 FSR 从 BGIP 的 3.67 降到 SEEK 的 2.50（降 31.8%），Biomni 上从 5.67 降到 3.50（降 38.2%）；两个平台上 SEEK 对 6 个技能中的 5 个在相同或更早轮次达阈值。
• 作者解读：以响应为条件的自适应在不降低技能级覆盖的情况下提高攻击效率。案例研究（Section 4.5）中，SEEK 攻击 SpatialAgent 的 spatial_deconvolution 技能时，记忆把部分泄露压缩成可检索观察，第 5 轮引用 M1、M2、M3 发出固化请求后 S_ref 从 0.246 升至 1.000；对应 BGIP episode 第 8 轮才首次成功。

受控防御评测（Section 4.7，Table 3）

• 测了什么：在开源 OpenScience 的工作区项目指令中加入最小、技能无关的指令机密性策略（附录 F），让智能体在输出前检查候选响应、用固定拒答替换受保护内容；对三种基准协议和 SEEK 各测 6 个技能。
• 结果：防御使 DP/FSP/BGIP/SEEK 的 Mean 分别下降 100.0%、91.5%、40.5%、47.4%，ASR 分别降至 0.0%、0.0%、0.0%、16.7%；SEEK 是唯一残余破口，FSR 从 1.0 升至 11.0，在 remote-compute 技能上第 11 轮使 OpenScience 重现受保护技能主体（S_ref = 0.855，后续响应达 1.000）。
• 作者解读：提示词级机密性策略能挡住直接、固定策略和 bandit 引导的提取，但仍会被把早期响应变成逐步精确重建请求的攻击者侵蚀；该防御是有效基线，但不是完整安全边界。

无参考评分的有效性（Section 4.2，Figure 2）

• 测了什么：SciencePal 和 Biomni 通过非会话式技能管理接口提供原始技能文本，在 36 个平台-技能-协议 episode 上回顾性比较 S_cons 与 S_ref（528 个响应级分数、264 对）。
• 结果：Figure 2(a) 显示 Pearson r = 0.902、Spearman ρ = 0.867，τ = 0.7 时 84 个汇总中 73 个（86.9%）阈值分类一致；Figure 2(b) 显示响应级不一致与参考分数差异的窗口级相关 r = 0.710。
• 作者解读：这些结果在评测平台上经验支持 S_cons 作为无参考泄露指标。

其他消融与分析

• 记忆与技能演化消融（Figure 3、Table 7，SpatialAgent，S_ref）：B = 20 时完整 SEEK 的 Mean 为 1.000，SEEK-base 0.719、SEEK-memory 0.884、SEEK-skill-evolution 0.858；完整 SEEK 在 B ≤ 3 时较低（0.649、0.707），B = 5 时（0.960）超过单组件变体；两个单组件变体各有 1 个技能未能提取，完整 SEEK 6 个全部成功。
• 接口级防御（Table 5）：ClawBio 的 RoboTerri 对话模式在 DP/FSP/BGIP 下 ASR 均为 0.0%（Mean 分别为 0.015、0.216、0.354），而主基准用的 Claude Code bridge 三种协议 ASR 均为 100.0%；作者称 RoboTerri 保留了正常任务效用。
• 分组分数（Table 6）：按平台架构和技能类别聚合，BGIP 在全部四组（开源/闭源 × 通用/科学技能）都高于 DP 和 FSP（BGIP 各组 0.931–0.950）。
• 接口泄露：作者称 Biomni 和 SciencePal 的 UI 会显示执行中读取的完整技能文件，OmicOS 则截断长工具输入输出；该通道被排除在正式基准之外。

作者指出的局限与后续方向

• SEEK 的聚焦对比只覆盖 SpatialAgent 和 Biomni，防御只在 OpenScience 上评测，基准只给最终响应打分而非异构的轨迹接口（Section 5 Limitations）。
• 每个平台-技能-协议组合只运行一次，未报告运行间方差（Section 5 Limitations）。
• S_cons 只在两个平台（SciencePal 和 Biomni）上验证（Section 5 Limitations）。
• 所有协议共用一个攻击模型（Section 5 Limitations）。
• 未来工作应评测有更强防御的目标、更多类型的智能体和更多数量的技能（Section 5 Limitations）。
• 未来评测应分别测量响应、工具输入、工具输出和轨迹泄露；只保护聊天响应不能保护整个用户可见执行面（Section 5 Discussion）。

实验覆盖范围

• 被测平台为 8 个科学智能体（5 个开源、3 个闭源），共 40 个受保护技能（Table 4）。
• 基准协议为 DP、FSP、BGIP 三种；SEEK 单独在 SpatialAgent 和 Biomni 上评测（Section 4.1、4.4）。
• 防御评测为 OpenScience 工作区项目指令中的指令级机密性策略，仅靠智能体指令执行，无外部输出过滤或动作级强制（附录 F）；另评测了 ClawBio 的 RoboTerri 接口（Table 5）。
• 攻击模型为 DeepSeek-V4-Pro-202606（所有协议）；BGIP 和 SEEK 每 episode 20 轮预算；每个平台-技能-协议组合运行一次（Section 4.1）。
• 论文未报告目标平台默认模型的具体名称（仅说明允许替换时用 DeepSeek-V4-Pro-202606，否则保留默认模型）。

一篇关于科学智能体私有技能机密性的攻击与评测论文。

• 问题：科学智能体把领域专长封装为私有技能并作为付费服务提供，但交付技能能力的用户交互可能泄露技能本身；作者要回答部署中的科学智能体能否防止私有技能经用户可见交互被提取。
• 方法：构建覆盖 8 个开源/闭源平台、40 个受保护技能的基准，统一威胁模型（授权用户、仅用户可见响应、预算受限），比较 DP、FSP、BGIP 三种协议；提出 SEEK，用持久记忆固化响应证据、用技能演化生成可复用攻击策略，仅以响应为条件自适应探测；开源目标用 S_ref、闭源目标用 S_cons 评分，阈值 0.7。
• 主要结果：所有 8 个平台（100%）至少泄露一个技能，4 个平台在单次直接请求下 ASR 达 100%（Table 1）；Biomni 在 DP/FSP 下无成功但 BGIP 下 100%。
• SEEK 效率：在 SpatialAgent 和 Biomni 的 12 个技能上 SEEK 全部成功，平均首次成功轮次较 BGIP 分别降 31.8%（3.67→2.50）和 38.2%（5.67→3.50）（Table 2）。
• 防御评测：OpenScience 的指令级机密性策略把三种基准协议的 ASR 全部降到 0.0%，但 SEEK 仍以 16.7% 的 ASR 提取出 6 个技能中的 1 个（Table 3）。
• 作者结论：当前科学智能体不能可靠保护其技能，防御必须针对自适应、多轮攻击者评估；单次拒绝或通过固定攻击测试不足以证明机密性，防御评测还应覆盖工具轨迹等所有用户可见通道。