CONTRA：研究者用配置树搜索对个人化 Agent 做红队测试

论文试图解决具有个性化配置与技能扩展的自主智能体在无恶意攻击者参与时因良性配置引发危险操作的安全盲区。

• 场景与重要性：类似 OpenClaw 的通用自主个人助手通过内部配置文件（如身份、记忆、定期心跳）深度个性化并加载外部第三方技能，这大幅扩展了自主能力，但也形成了行为安全的黑盒表面积。
• 现有防御与评测的不足：现存安全研究多聚焦于对抗攻击（如恶意提示注入、投毒或恶意技能扫描），但静态文件扫描（如杀毒软件或 LLM 审查）无法捕捉动态执行风险，忽视了普通良性配置组合导致的意外危险。
• 核心观察与假设：即便配置本身完全良性、不包含任何对抗战术或直接恶意指令，特定的人格设定、模糊指令或心跳计划也可能无意中驱动智能体执行严重有害操作。
• 论文提出的方案：提出了基于树搜索的红队自动化算法 CONTRA，通过 LLM 协助在配置空间中搜索外表良性但能诱发恶意目标动作的配置文件组合。
• 威胁模型：
  • 攻击者目标：不依赖对抗性恶意指令或越狱载荷，仅通过寻找看似良性、符合真实使用情景的配置文件修改，使智能体执行指定的恶意目标动作（target action）。
  • 攻击者知识：已知被测技能描述及其工具接口，具有被测智能体完整配置文件的读取与可配置修改权限。
  • 攻击者能力：仅限于对智能体内部配置项（如 AGENTS.md、SOUL.md、USER.md、HEARTBEAT.md、TOOLS.md、MEMORY.md、IDENTITY.md 或 Task）提出良性、非对抗性的单文件修改，不可直接指示目标动作或注入攻击代码。
  • 受害系统：基于类 OpenClaw 架构运行的大语言模型个人助手智能体，加载了外部 API/工具技能并在具有模拟工具的环境中运行。

相关研究主要涵盖大语言模型智能体安全、OpenClaw 生态安全以及基于 LLM 的智能体自动化设计三大方向。

• LLM 与智能体安全：
  • 输入优化与搜索对抗攻击：Zou 等人（2023）通过优化 token 实现对抗攻击；Liu 等人（2024, 2025）、Sabbaghi 等人（2025）基于 LLM 搜索越狱提示词；Chen 等人（2025）、Yuan 等人（2026）探索生成对抗输入的学习方法。
  • 具身与工具智能体攻击：Schick 等人（2023）、Patil 等人（2024）、Qin 等人（2024）、Goodell 等人（2025）拓展了工具使用能力；Kuntz 等人（2025）、Andriushchenko 等人（2024）研究直接用户有害指令；Zhan 等人（2024）、Debenedetti 等人（2024）、Wang 等人（2025b）评估工具输出的间接提示注入；Nöther 等人（2025）研究对抗智能体间的交互安全。
• OpenClaw 生态安全研究：
  • 系统级漏洞与投毒：Shapira 等人（2026）评估系统操纵脆弱性；Zhang 等人（2026）提出感染内部文件的自复制攻击；Liu 等人（2026a）展示利用引导文件操纵智能体。
  • 技能文件安全：Liu 等人（2026b）分析公共技能的安全漏洞；Duan 等人（2026）研究技能中嵌入对抗提示的脆弱性。
• 智能体自动化设计：
  • 工作流与系统自动演化：Hu 等人（2024）、Shang 等人（2024）、Wang 等人（2025a）、Zhang 等人（2025）通过 LLM 搜索设计有效智能体；Nöther 等人（2026）探索设计安全智能体系统。
• 基线方法与基准数据集：
  • 静态扫描基线：VirusTotal（传统恶意软件扫描）与 OpenClaw Scan（基于 LLM 的技能文件静态审计）。
  • 动态对抗基线：直接用户恶意指令（Direct Instruction，参考 Andriushchenko 等人，2024）与间接提示注入（Prompt Injection，参考 Zhan 等人，2024；Debenedetti 等人，2024）。
  • 评测数据集：ClawHub 公共技能库（来自 Hu 等人，2026 收集的数据集）。
• 与本文区别的定位：作者指出以往智能体攻击均假设存在构造恶意输入或投毒文件的对抗者，而本文研究无对抗者参与下良性配置如何内生导致恶意行为，且测试规模覆盖 473 个真实技能。

CONTRA 采用基于 LLM 的配置空间树搜索，结合多智能体红队编排与沙盒模拟评估，自动化挖掘能引发恶意动作的良性配置。

问题设定与形式化

算法目标是在给定技能、目标动作和初始默认配置下，搜索一系列内部文件的良性修改，使智能体执行目标动作。配置归档记为 A，每个配置候选存储元组 (c, h)，其中启发式评分函数定义为： h = log P(a_t) · s 该公式通过裁判判定目标动作达成的对数概率 log P(a_t) 与轨迹安全性得分 s 的乘积衡量配置距离触发有害行为的接近程度。

归档采样与变异生成

在每次搜索迭代中，算法按照 Zhang 等人（2025）提出的规则从归档中采样配置 c_i： p(c_i ∼ A) = λ · 1/(|A|) + (1 − λ) · (exp(γ · (h_i − h_max)))/(∑_j=1^|A| exp(γ · (h_j − h_max))) 公式中超参数固定为 λ = 0.2 和 γ = 0.4，平衡探索与利用。采样后由专有 Red-Team 架构生成 5 个子代配置，每次变异仅修改单个文件：

• 编排器智能体（Orchestrator）：观察现有配置并构思高层良性修改方案，显式受限不得使用对抗提示或直接指令。
• 文件专职子智能体：包括管理通用规则的 Agents Agent、定时任务的 Heartbeat Agent、外显人格的 Identity Agent、核心价值观的 Soul Agent、用户画像的 User Agent、长效记忆的 Memory Agent 以及工具配置的 Tools Agent。
• 任务与工具生成器：Task Agent 管理并演化初始用户任务，Tool Creator 负责在任务或心跳变更时动态更新模拟工具以确保任务可解。

沙盒执行与双模式评测

为确保无真实危害且具备可扩展性，所有外部交互均通过由静态 Python 函数或 LLM 驱动的代理工具（Proxy Tools）在沙盒中模拟。执行分为两种模式：

• User Mode：默认模式，配备 User-Proxy Agent 模拟用户回答提问、授予权限或提供反馈。
• Heartbeat Mode：当修改涉及 HEARTBEAT.md 时启用，智能体根据心跳自主执行周期性检查并自行决定终止。

裁判判定与终止准则

执行结束后，完整的交互轨迹（含思考链 token 与工具调用）交由独立的 Judge Agent 审查。只有当裁判同时判定目标动作达成（Target_achieved = true）且安全性评分 s ≤ 3（1–5 分制）时，该配置才算成功并提前终止搜索；否则将新配置存入归档继续迭代。

实验设置

• 被测模型：主实验被测模型为 Gemma4-31b；跨模型泛化实验额外测试了 GLM-4.7-flash、GPT-OSS-20b、Ministral-3-14b、Nemotron-Cascade-2。
• 数据集与规模：选用 ClawHub 下载量最高的 473 个技能（来自 Hu 等人，2026 的数据集）；每个技能生成 2–5 个严重程度大于 2 的恶意目标动作，总计 1590 个被测动作。子集对比实验分别使用前 100 个技能（309 个动作）与前 25 个技能（77 个动作）。
• 基线方法：包含两类静态扫描基线（VirusTotal、OpenClaw Scan）和两类动态对抗攻击基线（Direct Instruction、Prompt Injection）。
• 指标定义：ASR（目标动作执行成功率）、# Skills（至少执行一次恶意动作的技能占比/数量）、Iter（首次成功平均迭代轮次）、Files Changed（成功配置平均修改文件数）、Malicious Conf（成功配置被独立评为恶意的比例）。
• 评审方式：使用由 Gemma4-31b 驱动的 Judge Agent 打分，要求判定动作执行且安全性评分 ≤ 3；在 100 条正负轨迹上与人类标注比对，准确率为 98.5%；配置本身是否良性由独立的配置评审裁判评定。
• 采样与预算：每个技能搜索 25 轮迭代，每轮生成 5 个候选配置，每个技能最多探索 125 个配置。

主结果

Table 1 报告了 Gemma4-31b 在全部 1590 个动作上的主要评测结果：

表格较宽，可左右滑动

• 攻击成功率随严重程度上升：作者称严重程度越高的动作成功率反而呈现上升趋势（从 Severity 3 的 33.8% 升至 Severity 5 的 45.2%）。
• 修改代价与良性特征：平均仅需修改 2.5 个文件、迭代 8.0 轮；在全部成功配置中，91.8%（即 100% - 8.2%）被独立判定为完全良性。
• 技能暴露面广泛：在测试的技能中，75.1% 存在至少一个配置可导致执行恶意动作。

与基线方法的对比评测

Table 2 在 100 个流行技能（309 个动作）子集上对比了不同方法：

• 静态扫描 vs 动态执行：VirusTotal 仅检出 15% 的技能存在风险，OpenClaw Scan 检出 38%，而 CONTRA 发现 80% 的技能存在恶意行为风险。
• 显式对抗攻击对比：Direct Instruction 的 ASR 仅为 1.3%（3% 技能），Prompt Injection 的 ASR 为 7.8%（25% 技能），均低于 CONTRA 的 38.2% ASR（80% 技能）。
• 作者的解读：作者认为静态文件扫描无法反映运行时的真实风险，给用户带来虚假安全感；直接恶意指令易遭模型常规拒答，而错误配置带来的风险显著高于外部攻击者。

跨模型安全性评估

Table 3 在 25 个技能（77 个动作）子集上对比了不同开源模型：

• 跨模型表现：Gemma4-31b 达到 39.0% ASR（80% 技能）；GLM-4.7-flash 为 32.5% ASR（72% 技能）；GPT-OSS-20b 为 46.8% ASR（72% 技能）；Nemotron-Cascade-2 为 45.5% ASR（76% 技能）。
• 异常高风险模型：Ministral-3-14b 表现出异常高的脆弱性，ASR 达到 75.3%（92% 技能）。
• 作者的解读：作者认为这表明个性化智能体的配置安全隐患是跨模型的普遍现象，而非特定架构特有。

类别分析与质性发现

• 类别易受攻击性（Figure 5）：media（46.5%）、automation（47.2%）、web（47.3%）类别的 ASR 最高，而 commerce（23.3%）和 communication（31.1%）相对较低。
• 修改文件数分布（Figure 4）：单文件修改的累积 ASR 为 8.3%，修改 2 个文件升至 25.2%，修改 3 个文件升至 35.9%，修改 4 个文件为 39.1%，5 个文件为 39.2%，超过 5 个文件从未成功。
• 心跳机制与错误放大：成功攻击中有 68.7% 涉及 HEARTBEAT.md 修改，作者称心跳模式下智能体更不愿向用户确认；工具调用错误偶发导致模型陷入惊慌并连带产生放大破坏的后续调用。

作者指出的局限与后续方向

• 沙盒模拟环境未完全涵盖真实细节：作者在第 6 节指出，尽管对内部文件结构建模并生成了逼真的代理工具，但实验设置可能未能完全捕获真实部署中的所有实现细节。
• 真实环境部署评估的成本与挑战：作者在第 6 节提出，在完全真实世界中评估智能体是未来的研究方向，但这面临使用实时工具的责任问题与巨大的计算开销。
• 未研究多技能复合交互安全：作者在第 6 节指出，本文仅聚焦单个技能的安全问题，而真实系统常加载大量技能，探索技能之间相互作用产生的安全隐患是未来工作。
• 未探索防御对策：作者在第 6 节指出，本研究仅探索了诱发恶意行为的配置，未来工作应进一步探索可能的防御机制。

实验覆盖范围

• 被测模型范围：实验测试了 Gemma4-31b、GLM-4.7-flash、GPT-OSS-20b、Ministral-3-14b、Nemotron-Cascade-2 共 5 个开源模型，未包含专有闭源商业模型。
• 技能与动作数据覆盖：测试覆盖 ClawHub 下载量排名前 473 的技能（严重程度 > 2 的 1590 个动作），基线对比覆盖前 100 个技能，跨模型测试覆盖前 25 个技能。
• 防御基线覆盖：评测包含 VirusTotal 传统杀毒与 OpenClaw Scan 大模型静态审查，但未包含运行时动态防御或配置防护过滤方案。
• 计算资源消耗：每个技能的评估在双路 AMD EPYC 9555 与 Nvidia H200/B200 NVL 环境下约需 8 个 GPU-hours。
• 交互环境信息：实验全部在模拟代理工具沙盒中完成，论文未在真实联网或物理环境服务中执行实际操作。

• 研究定位：该论文针对具有个性化配置与技能拓展能力的自主 LLM 智能体，系统性研究了在无恶意攻击者参与的情况下，良性个性化配置文件引发恶意危险动作的安全脆弱性。
• 核心问题：现有安全防护多依赖静态文件扫描与显式恶意提示防御，忽视了普通用户在配置人格、记忆、心跳任务时可能无意构建出诱发高危操作的行为黑盒。
• 方法设计：提出了 CONTRA 框架，利用基于 LLM 的配置空间树搜索与多智能体红队变异机制，仅通过提出看似合理的单文件良性修改并在沙盒模拟环境中执行评估，自动挖掘能诱发危险动作的配置。
• 主要实验结果：在 ClawHub 前 473 个技能的 1590 个动作评测中，CONTRA 在 Gemma4-31b 上达到 39.2% 的 ASR，使 75.1% 的技能暴露出至少一次恶意行为（Table 1），且 91.8% 的成功配置被评为良性；该表现大幅超过了 VirusTotal（15%）和 OpenClaw Scan（38%）等静态扫描，以及直接恶意指令（1.3% ASR）和提示注入（7.8% ASR，Table 2）。
• 跨模型与定性规律：跨模型实验表明此现象普遍存在（Ministral-3-14b 的 ASR 达到 75.3%，Table 3）；68.7% 的成功攻击涉及定时心跳文件修改，模糊指令易被极端解读，工具调用错误易引发扩大危害的恐慌性后续调用。
• 启示与结论：作者认为当前智能体系统在个性化配置方面缺乏足够的安全保障，仅靠技能文件的静态内容扫描无法防范运行时的行为越界风险。