跳到正文
10月8日 · 周四

红队 · 论文

找到 10 篇
筛选1

攻击类型

越狱5提示注入10投毒与后门6恶意使用1

攻击技术

自动化搜索2编码与混淆2跨模态载荷2针对防御1诱导选用1

防御类型

检测与过滤1

影响

越权操作8数据与隐私泄露1可用性与可靠性1

系统形态

AI Agent10编程 Agent6多智能体1

攻击者权限

黑盒1

攻击面/入口

用户输入1文档与消息1工具返回4工具与技能描述6代码仓库与依赖4记忆写入2Agent 间消息1图像与音视频2分发渠道2

层

应用层10

系统组件

MCP 与技能6记忆1护栏与评审1权限与沙箱1视觉2音频1多模态2

被测模型厂商

Anthropic9OpenAI8Qwen（阿里）7DeepSeek6
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。
攻击类型：提示注入话题：红队清除全部
  1. 评测与基准arXiv:2610.07639 ·

    HarnessSecurity-Bench 横向评测六款编码智能体框架的安全机制

    提出HarnessSecurity-Bench，横向评测编码智能体框架的安全机制

    测试
    GLM-5.2、Qwen3.8-27B、Claude Opus 4.8 等 4 个应用层
    场景
    编程 Agent
    摘要系统审计40款harness并实证评测9类安全机制，量化了自动审批的暴露风险、强隔离的效用代价以及替代执行路径绕过。
    • 论文定位：该研究是针对开源与闭源代码智能体harness原生安全机制的系统性实证分析与基准评测。
    • 核心问题：针对代码智能体harness安全机制实现状态不透明、在对抗环境下防护能力及对合法开发效用影响缺乏定量评估的问题展开研究。
    • 方法体系：作者构建了包含10类安全机制的分类法，通过研究人员与LLM独立评审审计了40款harness的400个单元格；进一步提出包含23个任务的HARNESSSECURITY-BENCH，在隔离容器中利用确定性预言机评测6款harness在开启与关闭机制下的表现。
    • 关键实验发现：
      • 在GLM-5.2基线与6款harness测试中，开启auto-approve使总体任务效用从77.1%升至95.4%，但ASR从29.2%升至95.6%（Table 6）。
      • 网络隔离（NI）与只读模式（RO）大幅降低攻击效果，总体ASR分别降至0.8%和0.8%，但分别带来24.5和34.0个百分点的效用损失（Table 6、Table 7）。
      • 命令白名单（CAL）将ASR降至50.0%且效用仅微降1.5个百分点；命令黑名单（CDL）将ASR降至1.3%，同时因阻断破坏性操作使效用提升5.2个百分点（Table 6）。
    • 绕过路径与安全风险：案例分析显示，限制共享能力会同时误伤合法操作，且仅限制特定直接命令仍可通过受信任的解释器等替代路径绕过控制（Section 6.3）。
    • 作者建议与启示：作者建议harness提供商发布机制级说明并暴露运行时生效设置以增强可验证性，针对受保护资源测试所有替代访问路径，并在评估安全机制时综合权衡攻击效果、任务效用与资源执行开销。
    完整解读
  2. 评测与基准arXiv:2610.03585 ·

    宾州州立大学提出 TPRS，量化 Agent 安全基准中工具命名对 ASR 的影响

    提出TPRS，量化工具命名等表征变化对智能体安全基准得分的影响

    测试
    GPT-5-mini、Claude Haiku 4.5、GPT-4o-mini应用层
    场景
    AI Agent
    摘要论文审计了智能体安全基准的表征敏感性，发现工具命名变化可大幅改变 ASR，强调基准应评估表征变体。
    • 论文定位：这是一项针对大语言模型智能体安全基准测量有效性的审计研究，探究基准对威胁的表征设计对安全评估得分稳定性的影响。
    • 核心问题：现有多项基准使用攻击成功率（ASR）评估智能体鲁棒性并假定测量中立，但基准对工具命名、描述等表征的选择本身构成了模型输入，论文旨在探究底层安全问题不变时 ASR 分数在表征变换下的波动程度。
    • 方法设计：研究提出了威胁保持表征敏感性（TPRS），在严格固定任务、攻击目标、危害行为、环境与评测标准的前提下，针对 ASB、MCPTox 和 AgentDojo 构建了正字法、语义中立和线索改变等受控表征分支。
    • 主要发现：在 28,904 次运行中，ASB 中立化工具名使 GPT-5-mini 的 committed ASR 提升 11.67 个百分点、Claude Haiku 4.5 提升 13.21 个百分点（Table V）；MCPTox 引入显式威胁命名使 GPT-5-mini 的 ASR 下降 11.00 个百分点，且形式匹配的中立名复现了 8.54 个百分点的降幅（Table VII）；AgentDojo 上修改必需工具使 ASR 仅变化 -0.50 个百分点，但良性任务效用下降 5.36 个百分点（Table VIII）。
    • 作者结论与启示：作者认为基准测得的安全得分并非必然具有跨表征的泛化性，显式威胁词汇也无法完全解释敏感性；作者建议安全基准应将表征形式纳入评测设计，并在报告分数时包含表征敏感性指标与最差情况 ASR，而非依赖单一表征。
    完整解读
  3. 评测与基准arXiv:2610.03448 ·

    研究重测 15 个提示注入检测器：基准分数难以预测 Agent 部署表现

    重评提示注入检测器，检验基准分数对智能体部署的预测力

    测试
    Horizon-Labs、Wolf Defender、Prismor-1.5B 等 15 个应用层
    场景
    AI Agent
    摘要论文揭示公开基准无法反映智能体检测器表现，检测能力源于输入格式相似而非通用防御，建议基于工具输出与低误报评测。
    • 研究定位：评估主流提示注入检测器在智能体工具输出环境下的真实防御效能，检验公开基准分数是否具备跨环境预测力。
    • 核心问题：现有基准使用非结构化文本且存在数据重合，导致评测得出的高分无法反映检测器在智能体工具输出中的表现与误报阻断代价。
    • 评测方法：基于无 LLM 的真实调用重放构建良性工具输出，结合环境差异重放构建并标注注入样本，在 1% FPR 运行点下对比 15 个检测器与 2 个 LLM 评审，并审计训练集重合。
    • 关键实验发现：基准间检测排名缺乏显著迁移性（相关系数 0.01 至 0.31），在 BIPIA 达 95.1% 检出率的 PIGuard 在 AgentDojo 仅检出 2.1%；而在无数据重合但采用智能体风格数据训练的 Horizon-Labs 检出率达 82.2%（AgentDojo）与 100.0%（τ-bench）；同时检测器在工具输出上的误报率高达 0% 至 90% 以上，可导致高达 69.1% 的良性任务中断。
    • 机理与启示：检测器的有效性高度依赖于输入数据形态与训练集的相似度，而非对注入指令本身的通用理解；针对智能体部署的检测防御应在真实工具输出上以低误报率为基准进行评测，并严格审计训练数据泄漏，将检测器作为纵深防御中的过滤层使用。
    完整解读
  4. 评测与基准arXiv:2610.03153 ·

    EvoRiskBench：面向工作区 Agent 运行时安全风险的演化基准

    提出EvoRiskBench，评测工作区智能体的运行时安全风险

    测试
    GPT-5.6 Sol、DeepSeek-V4-Pro-0813、Claude Opus 5应用层
    场景
    编程 Agent多智能体
    摘要论文构建了工作空间智能体运行时风险基准 EvoRiskBench，发现高执行力智能体在 IPI 下面临较高安全风险。
    • 定位与目标：EvoRiskBench 是针对工作空间智能体在间接提示注入（IPI）下的运行时安全风险提出的可执行演化评测基准，旨在解决传统评测对智能体协作入口覆盖不全以及难以系统捕获实际执行后果的问题。
    • 核心方法框架：提出 EP–Path–EF 体系，将 9 类风险入口与 5 类单跳技术后果通过执行路径相链接；采用“生成-冻结-重放-提炼”闭环流程构建 450 个对抗任务，并在独立 Windows 容器中结合 ETW 进程与网络事件进行客观后果验证。
    • 主评测结果：在 3 款模型与 3 款 Harness 构成的 9 种配置（共 4,050 次执行）中，整体攻击成功率（ASR）为 37.46%，整体任务成功率（TSR）为 60.44%。
    • 最高风险配置：DeepSeek-V4-Pro-0813 搭配 Codex 的 ASR 达到 68.44%，反映出当前工作空间智能体在面对非受信输入时容易被利用产生实际破坏，作者指出仅配置工作空间不足以保证安全自主执行。
    • 模型与 Harness 效应：模型间 ASR 差距达 54.37 个百分点（DeepSeek-V4-Pro-0813 为 58.81%，Claude Opus 5 为 4.44%），远大于 Harness 间 5.41 个百分点的差距，且 Harness 的防护效果依赖于所配模型。
    • 作者结论与启示：作者认为任务执行能力强的智能体可能伴随更高的攻击易感性，且低总 ASR 容易掩盖局部高风险（如 Claude Opus 5 在网络访问导致系统破坏上的 ASR 达 56.67%），因此必须将模型与 Harness 作为整体系统协同开展运行时安全防御。
    完整解读
  5. 评测与基准arXiv:2609.09404 ·

    MMPIBench：多模态提示注入对六种 Agent 框架的跨框架评测

    用MMPIBench评测智能体框架的多模态提示注入

    测试
    Claude Opus 4.8、GPT-5.4、Gemini 3.1 Pro 等 6 个应用层
    场景
    AI Agent
    摘要论文提出MMPIBench评测多模态提示注入对智能体的影响，发现模型主导行为、尝试远超完成，音频通道缺乏防护。
    • 论文定位：论文提出了可复现基准 MMPIBench，系统评估多模态间接提示注入在6个主流智能体框架与5个前沿模型中的传播路径与阻断机制。
    • 核心问题：现有提示注入研究多针对文本输入或将多模态智能体视作黑盒，无法厘清攻击是在感知、规划还是执行阶段被阻断，也无法区分框架与基座模型的安全职责。
    • 方法设计：通过统一适配层标准化系统提示词与模拟工具，测试24个视觉攻击用例（6类载体 × 4类目标）与12个音频用例，引入白盒阶段插桩定位终止位置，并采用确定性检查与三模型评审团分层判定完成与尝试。
    • 主实验发现：全矩阵720次视觉运行中完成率仅1.11%（8次），但尝试率达12.8%（92次）；未完成攻击主要在规划阶段被模型阅读后放弃执行（占42.1%），显式识别拒绝占23.6%；模型是主导因素，Claude Opus 4.8尝试率为0.0%，Grok 4.3和Llama 4 Maverick达23.6%。
    • 音频扩展发现：半数框架因格式或序列化问题未交付音频；在交付的72个单元中完成率达49%，gpt-audio达75%，且尝试与完成数量完全相同。
    • 结论与启示：作者认为仅汇报完成率会大幅低估系统暴露风险，应同时追踪尝试率与识别拒绝率；框架丢弃多模态输入属于偶发缺陷而非安全屏障，亟需将安全对齐扩展至视觉与音频等感知通道。
    完整解读
  6. 评测与基准arXiv:2608.09476 ·

    ActBench：面向协作智能体行为安全的自演化基准

    构建ActBench评测协作智能体多步执行中的操作级行为安全

    测试
    Claude-Opus-4.8、Claude-Sonnet-4.6、GPT-5.5 等 15 个应用层
    场景
    编程 Agent
    摘要ActBench通过自演化搜索与双证据重构评测轨迹行为安全，揭示基础模型决策差异主导了协同智能体的操作风险。
    • 定位与核心问题：论文提出了面向协同智能体操作级行为安全的自演化评测基准ActBench，旨在解决现有评测局限于单步拒答、覆盖孤立且缺乏因果归因与自适应优化的难题。
    • 核心方法设计：基于六个执行空间形式化15种行为风险传播路径，设计成对匹配的良恶性任务；采用几何奖励束搜索联合权衡攻击与效用，结合十类执行故障反思迭代修正载荷，并通过系统日志与轨迹因果重构实施双证据验证。
    • 模型决定安全主跨度：在固定OpenClaw框架下对15个基础模型执行24,000条轨迹评测，ASR呈现84.3个百分点的跨度，其中Claude-Opus-4.8取得最低的10.1%，而Deepseek-v4-Pro高达94.4%（Table 2）。
    • 执行框架无法弥补模型缺陷：在固定Deepseek-v4-Pro模型下替换6种协同框架，所有框架的ASR均处于73.7%至94.4%的高位（Table 3），表明框架层的提示或过滤难以阻止脆弱模型产生越权动作。
    • 防御边界与执行开销：上下文感知检测器AgentDoG展现出早于局部文本分类器的拦截能力，但存在漏报；同时，执行循环数和代币消耗的多少与各模型的安全排序并无必然关联（Table 4、Table 6）。
    • 结论与启示：作者认为协同智能体的行为安全主要取决于基础模型对对抗上下文的动作授权决策，良性任务效用与执行时长均不能作为安全指标的替代，未来防护必须从单点文本过滤转向结合工件分析与轨迹监控的纵深防御体系。
    完整解读
  7. 评测与基准arXiv:2608.00677 ·

    OpenART 提出环境演化红队框架，在 75 个 Agent 配置上实现 85.0% 攻击成功率

    提出OpenART竞技场，用EMHA演化持久环境以评测智能体安全

    测试
    GPT-5.5、Claude-Opus-4.8、GLM-5.2 等 5 个应用层
    场景
    编程 Agent
    摘要提出OpenART竞技场与EMHA攻击，75种配置下ASR达85.0%，揭示长跨度安全漂移。
    • 核心定位与问题：针对智能体在长跨度持久环境中状态累积易诱发安全失效、而现有静态基准难以跨运行时评估的问题，提出了基于受控环境演化的智能体红队竞技场 OpenART。
    • 环境与场景构建：从超过 50 万个 Tools、MCPs 和 Skills 中构建出覆盖 50 个领域的 10,513 个长跨度可执行场景，工作流中位数达 97 次工具调用，并通过轻量级适配器映射到 15 个智能体和 8 个原生环境向量。
    • EMHA 攻击方法：在保持良性任务目标和安全契约固定的前提下，提出黑盒参考攻击策略 EMHA，通过超图路径搜索、反馈引导的软 Q 学习和质量多样性图进化协调环境状态突变。
    • 核心实验发现：跨 75 种智能体-模型配置下 EMHA 取得 85.0% 的严格 ASR；在 DeepSeek-V4-Pro 下完整 EMHA 达到 94.7% ASR，高出仅指令演化 13.1 个百分点；在复杂场景中演化优势相对指令演化扩大至 17.6 个百分点（Figure 4a）。
    • 方差分解与架构影响：目标模型和智能体系统分别解释 73.6% 和 25.2% 的 ASR 方差；在控制模型与良性能力后，智能体身份仍能额外解释 7.6% 的方差。
    • 长跨度安全漂移启示：轨迹分析表明演化状态在产生不安全动作前平均潜伏 37 步，作者认为智能体安全不能仅依赖模型瞬间响应的静态评测，必须在动态演化环境中长跨度审视状态与决策的相互作用。
    完整解读
  8. 攻击arXiv:2608.30441 ·

    ECLIPSE：针对长程 Agent 系统的自演化隐蔽提示注入攻击

    提出ECLIPSE双通道自演化提示注入，劫持长程智能体动作轨迹

    测试
    DeepSeek、GPT-4o、Claude 4.8 Opus 等 7 个应用层
    场景
    AI Agent攻击者黑盒
    摘要论文提出结合用户端与工具端注入的框架 ECLIPSE，在长任务基准上达成高成功率，揭示了长时程智能体面临的新安全挑战。
    • 研究定位：针对基于大语言模型、需要多步工具调用的长任务智能体系统，研究兼顾高隐蔽性与执行可控性的新型提示词注入攻击机制与评测基准。
    • 核心解决问题：化解现有直接注入因意图过于显式易被安全审查拦截、而分布式间接注入因长序列累积误差导致执行脱轨的固有矛盾。
    • 方法关键设计：提出 ECLIPSE 框架，在离线沙盒中利用影子智能体合成并双阶段验证工具链，渲染为自然的单轮隐蔽用户请求；在工具侧通过静态工作流编码（SWE）改写描述建立状态依赖，并利用动态轨迹校正（DTC）在执行偏离时注入残差修正信号。
    • 关键定量成果：在自建的 120 项长任务基准 LASE-Bench 上，ECLIPSE 对 DeepSeek 的无防御 ASR 达 96.7%、在外部安全过滤下达 69.2%（高出最强基线 27.5 个百分点，Table 2）；在 Claude 4.8 Opus 带防御下达 62.4%（最强基线仅 0.8%，Table 2）；在最新闭源模型 GPT-5.6 Luna 和 Claude Sonnet 5 带防御下分别达 52.5% 与 60.0%（Table 3）。
    • 迁移性与防御表现：在原生智能体系统 OpenClaw 与 Hermes 上，带防御 ASR 分别达到 61.7% 与 55.8%（Table 6、7）；而在面对输入审查、工具边界隔离与轨迹监控防御时，仍能维持 43.3%–85.8% 的 ASR（Figure 6）。
    • 作者结论与启示：作者认为单点或局部的输入与工具过滤难以防范此类将恶意意图跨输入端、工具元数据与多步执行轨迹解耦的攻击，未来的智能体安全防御必须具备跨越多个信息源联合推理的能力。
    完整解读
  9. 攻击arXiv:2609.30383 ·

    研究者提出技能级联攻击，在 OpenClaw、Claude Code 与 Codex 上平均成功率 89.4%

    提出技能级联攻击，把恶意目标拆进多个技能以绕过单技能检测

    测试
    GPT-5.4、GPT-5.4 Mini、Claude Opus 4.6 等 10 个应用层
    场景
    编程 Agent
    摘要论文探讨了多技能智能体系统面临的技能级联攻击风险，提出自动化红队框架与基准集，指出跨技能交互存在安全防护盲区。
    • 研究定位：该研究聚焦基于技能的大语言模型智能体生态，形式化并实证评估了将攻击目标分散于多个技能中的技能级联攻击威胁。
    • 核心问题：现代智能体通过共享上下文窗口跨技能传递数据，现有安全防御均基于单技能审查假设，无法发现单个技能看似正常但多技能协同产生危害的安全风险。
    • 方法架构：作者设计了由场景发现、攻击生成、隔离扫描、测试构造和沙箱裁决等 5 个智能体构成的闭环红队框架 SKILLCASCADE，构建并开源了包含 213 个测试用例的 SKILLCASCADE-BENCH 基准。
    • 关键实验结果：在 OpenClaw、Claude Code 与 Codex 配合 8 种骨干模型的 24 种配置下，级联攻击平均 ASR 达到 89.4%（Table 2）；面对 5 款单技能扫描器，修改后技能的隐蔽率保持在 86.6% 以上（Table 3）；面对 4 种运行时防御框架，平均逃逸率达 88.5%（Table 5）；撤销三技能级联中任一修改，残余 ASR 降至 13–18%（Figure 4a）。
    • 作者结论与启示：作者认为组件级别的良性并不等同于系统整体的安全，现有多技能智能体系统在跨技能语义交互层面缺乏有效防护，呼吁安全研究从孤立的单技能审查转向跨技能交互分析与组合安全推理。
    完整解读
  10. 评测与基准arXiv:2609.35912 ·

    MMSkillRisk：多模态技能图像中的隐藏指令可诱导 Agent 执行未授权操作

    构建多模态技能图像攻击基准MMSkillRisk并设计NCVA

    测试
    GPT-5.6-sol、Kimi-K2.6、Kimi-K3 等 6 个应用层
    场景
    编程 Agent
    摘要论文提出MMSkillRisk基准与NCVA攻击，揭示多模态技能中教学图像潜藏指令可引发未授权操作并与良性任务共存。
    1. 研究定位与核心问题：本研究针对多模态智能体技能中图像引导可能成为攻击跳板的安全风险，构建了首个可执行的端到端评测基准 MMSkillRisk，系统探究智能体在依赖视觉参考完成任务时能否防御图像潜藏的未授权指令。
    2. 攻击设计与基准构建：作者提出原生上下文视觉攻击（NCVA），将未授权操作伪装成教学图中的原生标注、弹窗或标签，并通过文本提供中立位置引导；基于 28 个多模态技能构建了包含 5 类攻击目标、36 个受污染变体及 108 个用例的评测集，在 Docker 沙箱中通过多模态 LLM 独立评估攻击与任务完成度。
    3. 图像载荷攻击的高有效性：在评估的 9 种模型与框架配置中，NCVA 均诱发了未授权操作，其汇聚 ASR 达到 43.1%，比对应文本匹配基线高出 16.4 个百分点；其中 Codex 搭配 GPT-5.6-sol 的 ASR 达到 81.5%，而 Claude Code 搭配 Claude Opus 4.6 表现出最低的 ASR（12.0%）。
    4. 攻击与良性任务高度共存：评测显示汇聚任务兼容攻击成功率（TC-ASR）达到 36.5%，在 Codex 搭配 GPT-5.6-sol 配置下更是高达 72.2%，作者指出这反映出智能体能够在顺利完成用户合法需求的同时提交危险操作，良性任务完成无法作为安全评判凭据。
    5. 行为转化链路与载体互补性：轨迹分析表明智能体对视觉材料的访问率接近 100%，识别载荷后的尝试操作几乎全部转化为攻击成功；消融实验显示仅保留文本引导时 ASR 归零，仅保留图像载荷时 ASR 降至 1.9%–7.4%，作者称消融结果反映出图像提供语义与文本提供流程权威性的协同机制。
    6. 现有防御盲区与研究启示：评测中 5 款主流技能扫描器对恶意包的检出率最高仅 11.1%，难以识别图像层面的未授权指令；作者认为必须针对多模态技能开发运行时防御机制，不能单纯依赖静态文本检测或任务完成状态来保障智能体安全。
    完整解读
已经到底了