跳到正文
10月8日 · 周四

红队 · 论文

找到 46 篇
筛选1

攻击类型

越狱6提示注入23投毒与后门9检测规避1恶意使用2

攻击技术

梯度与表征优化2自动化搜索6多轮渐进2编码与混淆3角色扮演与说服1跨模态载荷4针对防御3潜伏触发5诱导选用2

模型自身风险

欺骗与谋划4失准与价值偏离2Agent 危险操作2危险能力3

防御类型

模型加固1检测与过滤4指令与数据隔离2权限与审批4监控与审计3

影响

有害内容1越权操作27数据与隐私泄露8输出被操纵3可用性与可靠性1监督失效3滥用能力提升3

系统形态

模型与 API15LLM 应用1AI Agent46编程 Agent25网页与电脑操作5多智能体4具身与机器人1

攻击者权限

黑盒5白盒1无盒1

攻击面/入口

用户输入10网页与界面6文档与消息3工具返回11工具与技能描述12代码仓库与依赖8检索语料1记忆写入4Agent 间消息3图像与音视频4训练数据2权重与梯度1分发渠道5

层

提示层1应用层44训练与数据层1

系统组件

MCP 与技能12记忆3RAG1护栏与评审5监控器4权限与沙箱7微调与开源权重1视觉4音频1多模态4

被测模型厂商

OpenAI35Anthropic32Qwen（阿里）30DeepSeek21智谱 GLM19Kimi（月之暗面）17Google15Meta13MiniMax8xAI5其他17
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 95 篇还没打标签，不在筛选结果里。
系统形态：AI Agent话题：红队清除全部

另有 95 篇论文还没打上分类标签，暂不在筛选结果里。

  3. 攻击arXiv:2610.09240 ·

    WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作

    提出 WebMirage，用对抗图像劫持视觉网页智能体的浏览器操作

    网页与电脑操作测试LLaVA-v1.5-13B、LLaVA-v1.6-34B、MiniCPM-o-8B 等 6 个应用层
    摘要论文提出了针对网络智能体的端到端视觉红队框架 WebMirage，揭示了从视觉定位到浏览器执行的安全脆弱性。

    WebMirage 是一个面向视觉定位网络智能体的流水线感知端到端红队攻击框架。

    完整解读
  6. 分析与理论arXiv:2610.06001 ·

    AgentSpy：在系统调用层观测 AI Agent 行为并检测技能注入攻击

    提出 AgentSpy，在系统调用层观测编程智能体并检测技能注入攻击

    编程 Agent测试gpt-5.6-terra、deepseek-v4-flash、glm-5.3-flash 等 4 个应用层
    摘要提出了系统级智能体监控框架 AgentSpy，揭示出通过测试背后的非预期行为与注入风险。

    本研究提出了面向 AI 智能体的系统级外部监控与行为分析框架 AgentSpy。

    完整解读
  8. 攻击arXiv:2610.05793 ·

    研究者训练出按多智能体拓扑触发的代码后门模型

    微调植入拓扑条件后门，使代码模型在推断多智能体部署时插入隐蔽漏洞

    编程 Agent测试Qwen2.5-7B-Instruct、Qwen2.5-Coder-7B-Instruct训练与数据层

    摘要论文证实了拓扑条件后门的可训练性与泛化性，展示了常规评测盲区，并提出差异化拓扑审计作为检测防御方向。

    完整解读
  9. 防御arXiv:2610.05163 ·

    研究者在 Claude Code 和 Codex 上构造分段提示注入并发布边界动作审计基准

    提出 PAA 路径对齐归因，审计编程智能体边界动作前的分段提示注入

    编程 Agent测试Claude Code (v2.1.172, Claude Sonnet 5)、Codex CLI (v0.144.0, GPT-5.5)、Claude Sonnet 5 等 7 个应用层
    摘要论文针对长流程注入提出边界动作审计与 PAA，在保持低误阻的同时实现高拦截率。

    本研究针对长流程智能体在执行任务时面临的分阶段间接提示注入威胁，提出了在动作生效前进行拦截的边界动作审计框架与路径对齐归因方法。

    完整解读
  10. 评测与基准arXiv:2604.02947 ·

    AgentHazard：评估计算机使用智能体有害行为的基准

    提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为

    网页与电脑操作编程 Agent测试Qwen2.5-72B-Instruct、Qwen2.5-Coder-32B-Instruct、Qwen3-32B 等 12 个应用层
    摘要AgentHazard 评估了计算机使用智能体的执行安全，作者认为模型层对齐无法可靠保障智能体层面的安全性。

    AgentHazard 是针对计算机使用智能体执行层安全构建的评估基准，重点探究多步工具调用下局部合理动作累积引发的危害。

    完整解读
  12. 评测与基准arXiv:2610.03448 ·

    研究重测 15 个提示注入检测器：基准分数难以预测 Agent 部署表现

    重评提示注入检测器，检验基准分数对智能体部署的预测力

    AI Agent测试Horizon-Labs、Wolf Defender、Prismor-1.5B 等 15 个应用层

    摘要论文揭示公开基准无法反映智能体检测器表现，检测能力源于输入格式相似而非通用防御，建议基于工具输出与低误报评测。

    完整解读
  16. 攻击arXiv:2609.39607 ·

    Pretext 攻击绕过 NVIDIA SkillSpector 等 Agent 技能扫描器

    提出 PRETEXT，迭代改写技能文本以绕过扫描并执行木马行为

    编程 Agent攻击者白盒测试glm (z-ai/glm-5.1)、qwen3t (qwen/qwen3-235b-a22b-thinking-2507)、gpt-oss (openai/gpt-oss-120b) 等 4 个应用层
    摘要论文提出了针对多阶段技能检测器的白盒攻击，揭示了单纯依赖大模型自适应检测的局限。

    PRETEXT 是一项针对基于“静态规则加语义大模型”的智能体技能安全检测框架的白盒攻击与协同进化评估研究。

    完整解读
加载更多