跳到正文
10月8日 · 周四

红队 · 论文

找到 6 篇
筛选1

攻击类型

越狱1提示注入6投毒与后门3

攻击技术

自动化搜索1编码与混淆2跨模态载荷1针对防御1诱导选用1

影响

越权操作6

系统形态

AI Agent6编程 Agent4多智能体1

攻击者权限

黑盒1

攻击面/入口

用户输入7网页与界面1文档与消息2工具返回4工具与技能描述6代码仓库与依赖5检索语料1记忆写入3Agent 间消息2图像与音视频2分发渠道2

层

应用层6

系统组件

MCP 与技能6权限与沙箱1视觉1多模态1

被测模型厂商

Anthropic6OpenAI5
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。
攻击面/入口：工具与技能描述话题：红队清除全部
  1. 评测与基准arXiv:2610.07639 ·

    HarnessSecurity-Bench 横向评测六款编码智能体框架的安全机制

    提出HarnessSecurity-Bench，横向评测编码智能体框架的安全机制

    测试
    GLM-5.2、Qwen3.8-27B、Claude Opus 4.8 等 4 个应用层
    场景
    编程 Agent
    摘要系统审计40款harness并实证评测9类安全机制，量化了自动审批的暴露风险、强隔离的效用代价以及替代执行路径绕过。
    • 论文定位：该研究是针对开源与闭源代码智能体harness原生安全机制的系统性实证分析与基准评测。
    • 核心问题：针对代码智能体harness安全机制实现状态不透明、在对抗环境下防护能力及对合法开发效用影响缺乏定量评估的问题展开研究。
    • 方法体系：作者构建了包含10类安全机制的分类法，通过研究人员与LLM独立评审审计了40款harness的400个单元格；进一步提出包含23个任务的HARNESSSECURITY-BENCH，在隔离容器中利用确定性预言机评测6款harness在开启与关闭机制下的表现。
    • 关键实验发现：
      • 在GLM-5.2基线与6款harness测试中，开启auto-approve使总体任务效用从77.1%升至95.4%，但ASR从29.2%升至95.6%（Table 6）。
      • 网络隔离（NI）与只读模式（RO）大幅降低攻击效果，总体ASR分别降至0.8%和0.8%，但分别带来24.5和34.0个百分点的效用损失（Table 6、Table 7）。
      • 命令白名单（CAL）将ASR降至50.0%且效用仅微降1.5个百分点；命令黑名单（CDL）将ASR降至1.3%，同时因阻断破坏性操作使效用提升5.2个百分点（Table 6）。
    • 绕过路径与安全风险：案例分析显示，限制共享能力会同时误伤合法操作，且仅限制特定直接命令仍可通过受信任的解释器等替代路径绕过控制（Section 6.3）。
    • 作者建议与启示：作者建议harness提供商发布机制级说明并暴露运行时生效设置以增强可验证性，针对受保护资源测试所有替代访问路径，并在评估安全机制时综合权衡攻击效果、任务效用与资源执行开销。
    完整解读
  2. 评测与基准arXiv:2610.03585 ·

    宾州州立大学提出 TPRS，量化 Agent 安全基准中工具命名对 ASR 的影响

    提出TPRS，量化工具命名等表征变化对智能体安全基准得分的影响

    测试
    GPT-5-mini、Claude Haiku 4.5、GPT-4o-mini应用层
    场景
    AI Agent
    摘要论文审计了智能体安全基准的表征敏感性，发现工具命名变化可大幅改变 ASR，强调基准应评估表征变体。
    • 论文定位：这是一项针对大语言模型智能体安全基准测量有效性的审计研究，探究基准对威胁的表征设计对安全评估得分稳定性的影响。
    • 核心问题：现有多项基准使用攻击成功率（ASR）评估智能体鲁棒性并假定测量中立，但基准对工具命名、描述等表征的选择本身构成了模型输入，论文旨在探究底层安全问题不变时 ASR 分数在表征变换下的波动程度。
    • 方法设计：研究提出了威胁保持表征敏感性（TPRS），在严格固定任务、攻击目标、危害行为、环境与评测标准的前提下，针对 ASB、MCPTox 和 AgentDojo 构建了正字法、语义中立和线索改变等受控表征分支。
    • 主要发现：在 28,904 次运行中，ASB 中立化工具名使 GPT-5-mini 的 committed ASR 提升 11.67 个百分点、Claude Haiku 4.5 提升 13.21 个百分点（Table V）；MCPTox 引入显式威胁命名使 GPT-5-mini 的 ASR 下降 11.00 个百分点，且形式匹配的中立名复现了 8.54 个百分点的降幅（Table VII）；AgentDojo 上修改必需工具使 ASR 仅变化 -0.50 个百分点，但良性任务效用下降 5.36 个百分点（Table VIII）。
    • 作者结论与启示：作者认为基准测得的安全得分并非必然具有跨表征的泛化性，显式威胁词汇也无法完全解释敏感性；作者建议安全基准应将表征形式纳入评测设计，并在报告分数时包含表征敏感性指标与最差情况 ASR，而非依赖单一表征。
    完整解读
  3. 评测与基准arXiv:2610.03153 ·

    EvoRiskBench：面向工作区 Agent 运行时安全风险的演化基准

    提出EvoRiskBench，评测工作区智能体的运行时安全风险

    测试
    GPT-5.6 Sol、DeepSeek-V4-Pro-0813、Claude Opus 5应用层
    场景
    编程 Agent多智能体
    摘要论文构建了工作空间智能体运行时风险基准 EvoRiskBench，发现高执行力智能体在 IPI 下面临较高安全风险。
    • 定位与目标：EvoRiskBench 是针对工作空间智能体在间接提示注入（IPI）下的运行时安全风险提出的可执行演化评测基准，旨在解决传统评测对智能体协作入口覆盖不全以及难以系统捕获实际执行后果的问题。
    • 核心方法框架：提出 EP–Path–EF 体系，将 9 类风险入口与 5 类单跳技术后果通过执行路径相链接；采用“生成-冻结-重放-提炼”闭环流程构建 450 个对抗任务，并在独立 Windows 容器中结合 ETW 进程与网络事件进行客观后果验证。
    • 主评测结果：在 3 款模型与 3 款 Harness 构成的 9 种配置（共 4,050 次执行）中，整体攻击成功率（ASR）为 37.46%，整体任务成功率（TSR）为 60.44%。
    • 最高风险配置：DeepSeek-V4-Pro-0813 搭配 Codex 的 ASR 达到 68.44%，反映出当前工作空间智能体在面对非受信输入时容易被利用产生实际破坏，作者指出仅配置工作空间不足以保证安全自主执行。
    • 模型与 Harness 效应：模型间 ASR 差距达 54.37 个百分点（DeepSeek-V4-Pro-0813 为 58.81%，Claude Opus 5 为 4.44%），远大于 Harness 间 5.41 个百分点的差距，且 Harness 的防护效果依赖于所配模型。
    • 作者结论与启示：作者认为任务执行能力强的智能体可能伴随更高的攻击易感性，且低总 ASR 容易掩盖局部高风险（如 Claude Opus 5 在网络访问导致系统破坏上的 ASR 达 56.67%），因此必须将模型与 Harness 作为整体系统协同开展运行时安全防御。
    完整解读
  4. 攻击arXiv:2608.30441 ·

    ECLIPSE：针对长程 Agent 系统的自演化隐蔽提示注入攻击

    提出ECLIPSE双通道自演化提示注入，劫持长程智能体动作轨迹

    测试
    DeepSeek、GPT-4o、Claude 4.8 Opus 等 7 个应用层
    场景
    AI Agent攻击者黑盒
    摘要论文提出结合用户端与工具端注入的框架 ECLIPSE，在长任务基准上达成高成功率，揭示了长时程智能体面临的新安全挑战。
    • 研究定位：针对基于大语言模型、需要多步工具调用的长任务智能体系统，研究兼顾高隐蔽性与执行可控性的新型提示词注入攻击机制与评测基准。
    • 核心解决问题：化解现有直接注入因意图过于显式易被安全审查拦截、而分布式间接注入因长序列累积误差导致执行脱轨的固有矛盾。
    • 方法关键设计：提出 ECLIPSE 框架，在离线沙盒中利用影子智能体合成并双阶段验证工具链，渲染为自然的单轮隐蔽用户请求；在工具侧通过静态工作流编码（SWE）改写描述建立状态依赖，并利用动态轨迹校正（DTC）在执行偏离时注入残差修正信号。
    • 关键定量成果：在自建的 120 项长任务基准 LASE-Bench 上，ECLIPSE 对 DeepSeek 的无防御 ASR 达 96.7%、在外部安全过滤下达 69.2%（高出最强基线 27.5 个百分点，Table 2）；在 Claude 4.8 Opus 带防御下达 62.4%（最强基线仅 0.8%，Table 2）；在最新闭源模型 GPT-5.6 Luna 和 Claude Sonnet 5 带防御下分别达 52.5% 与 60.0%（Table 3）。
    • 迁移性与防御表现：在原生智能体系统 OpenClaw 与 Hermes 上，带防御 ASR 分别达到 61.7% 与 55.8%（Table 6、7）；而在面对输入审查、工具边界隔离与轨迹监控防御时，仍能维持 43.3%–85.8% 的 ASR（Figure 6）。
    • 作者结论与启示：作者认为单点或局部的输入与工具过滤难以防范此类将恶意意图跨输入端、工具元数据与多步执行轨迹解耦的攻击，未来的智能体安全防御必须具备跨越多个信息源联合推理的能力。
    完整解读
  5. 攻击arXiv:2609.30383 ·

    研究者提出技能级联攻击，在 OpenClaw、Claude Code 与 Codex 上平均成功率 89.4%

    提出技能级联攻击，把恶意目标拆进多个技能以绕过单技能检测

    测试
    GPT-5.4、GPT-5.4 Mini、Claude Opus 4.6 等 10 个应用层
    场景
    编程 Agent
    摘要论文探讨了多技能智能体系统面临的技能级联攻击风险，提出自动化红队框架与基准集，指出跨技能交互存在安全防护盲区。
    • 研究定位：该研究聚焦基于技能的大语言模型智能体生态，形式化并实证评估了将攻击目标分散于多个技能中的技能级联攻击威胁。
    • 核心问题：现代智能体通过共享上下文窗口跨技能传递数据，现有安全防御均基于单技能审查假设，无法发现单个技能看似正常但多技能协同产生危害的安全风险。
    • 方法架构：作者设计了由场景发现、攻击生成、隔离扫描、测试构造和沙箱裁决等 5 个智能体构成的闭环红队框架 SKILLCASCADE，构建并开源了包含 213 个测试用例的 SKILLCASCADE-BENCH 基准。
    • 关键实验结果：在 OpenClaw、Claude Code 与 Codex 配合 8 种骨干模型的 24 种配置下，级联攻击平均 ASR 达到 89.4%（Table 2）；面对 5 款单技能扫描器，修改后技能的隐蔽率保持在 86.6% 以上（Table 3）；面对 4 种运行时防御框架，平均逃逸率达 88.5%（Table 5）；撤销三技能级联中任一修改，残余 ASR 降至 13–18%（Figure 4a）。
    • 作者结论与启示：作者认为组件级别的良性并不等同于系统整体的安全，现有多技能智能体系统在跨技能语义交互层面缺乏有效防护，呼吁安全研究从孤立的单技能审查转向跨技能交互分析与组合安全推理。
    完整解读
  6. 评测与基准arXiv:2609.35912 ·

    MMSkillRisk：多模态技能图像中的隐藏指令可诱导 Agent 执行未授权操作

    构建多模态技能图像攻击基准MMSkillRisk并设计NCVA

    测试
    GPT-5.6-sol、Kimi-K2.6、Kimi-K3 等 6 个应用层
    场景
    编程 Agent
    摘要论文提出MMSkillRisk基准与NCVA攻击，揭示多模态技能中教学图像潜藏指令可引发未授权操作并与良性任务共存。
    1. 研究定位与核心问题：本研究针对多模态智能体技能中图像引导可能成为攻击跳板的安全风险，构建了首个可执行的端到端评测基准 MMSkillRisk，系统探究智能体在依赖视觉参考完成任务时能否防御图像潜藏的未授权指令。
    2. 攻击设计与基准构建：作者提出原生上下文视觉攻击（NCVA），将未授权操作伪装成教学图中的原生标注、弹窗或标签，并通过文本提供中立位置引导；基于 28 个多模态技能构建了包含 5 类攻击目标、36 个受污染变体及 108 个用例的评测集，在 Docker 沙箱中通过多模态 LLM 独立评估攻击与任务完成度。
    3. 图像载荷攻击的高有效性：在评估的 9 种模型与框架配置中，NCVA 均诱发了未授权操作，其汇聚 ASR 达到 43.1%，比对应文本匹配基线高出 16.4 个百分点；其中 Codex 搭配 GPT-5.6-sol 的 ASR 达到 81.5%，而 Claude Code 搭配 Claude Opus 4.6 表现出最低的 ASR（12.0%）。
    4. 攻击与良性任务高度共存：评测显示汇聚任务兼容攻击成功率（TC-ASR）达到 36.5%，在 Codex 搭配 GPT-5.6-sol 配置下更是高达 72.2%，作者指出这反映出智能体能够在顺利完成用户合法需求的同时提交危险操作，良性任务完成无法作为安全评判凭据。
    5. 行为转化链路与载体互补性：轨迹分析表明智能体对视觉材料的访问率接近 100%，识别载荷后的尝试操作几乎全部转化为攻击成功；消融实验显示仅保留文本引导时 ASR 归零，仅保留图像载荷时 ASR 降至 1.9%–7.4%，作者称消融结果反映出图像提供语义与文本提供流程权威性的协同机制。
    6. 现有防御盲区与研究启示：评测中 5 款主流技能扫描器对恶意包的检出率最高仅 11.1%，难以识别图像层面的未授权指令；作者认为必须针对多模态技能开发运行时防御机制，不能单纯依赖静态文本检测或任务完成状态来保障智能体安全。
    完整解读
已经到底了