跳到正文
10月8日 · 周四

红队 · 论文

找到 45 篇
筛选1

攻击类型

越狱6提示注入23投毒与后门8检测规避2恶意使用2

攻击技术

梯度与表征优化1自动化搜索6多轮渐进2编码与混淆3角色扮演与说服1跨模态载荷3针对防御3潜伏触发4诱导选用2

模型自身风险

欺骗与谋划3失准与价值偏离2Agent 危险操作2危险能力3

防御类型

模型加固1检测与过滤5指令与数据隔离2权限与审批4监控与审计3

影响

有害内容1越权操作26数据与隐私泄露8输出被操纵3可用性与可靠性1监督失效3滥用能力提升3

系统形态

LLM 应用1AI Agent44编程 Agent24网页与电脑操作5多智能体4

攻击者权限

黑盒6白盒1无盒1

攻击面/入口

用户输入10网页与界面6文档与消息4工具返回11工具与技能描述12代码仓库与依赖8检索语料1记忆写入4Agent 间消息3图像与音视频3训练数据1分发渠道5

层

提示层14模型层1应用层45训练与数据层1

系统组件

MCP 与技能12记忆3RAG1护栏与评审6监控器4权限与沙箱7视觉3音频1多模态3

被测模型厂商

OpenAI36Anthropic33Qwen（阿里）29DeepSeek21智谱 GLM19Kimi（月之暗面）17Google15Meta13MiniMax8xAI5其他16
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 96 篇还没打标签，不在筛选结果里。
层：应用层话题：红队清除全部

另有 96 篇论文还没打上分类标签，暂不在筛选结果里。

  3. 攻击arXiv:2610.09240 ·

    WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作

    提出 WebMirage，用对抗图像劫持视觉网页智能体的浏览器操作

    网页与电脑操作测试LLaVA-v1.5-13B、LLaVA-v1.6-34B、MiniCPM-o-8B 等 6 个应用层
    摘要论文提出了针对网络智能体的端到端视觉红队框架 WebMirage，揭示了从视觉定位到浏览器执行的安全脆弱性。

    WebMirage 是一个面向视觉定位网络智能体的流水线感知端到端红队攻击框架。

    完整解读
  6. 分析与理论arXiv:2610.06001 ·

    AgentSpy：在系统调用层观测 AI Agent 行为并检测技能注入攻击

    提出 AgentSpy，在系统调用层观测编程智能体并检测技能注入攻击

    编程 Agent测试gpt-5.6-terra、deepseek-v4-flash、glm-5.3-flash 等 4 个应用层
    摘要提出了系统级智能体监控框架 AgentSpy，揭示出通过测试背后的非预期行为与注入风险。

    本研究提出了面向 AI 智能体的系统级外部监控与行为分析框架 AgentSpy。

    完整解读
  8. 防御arXiv:2610.05163 ·

    研究者在 Claude Code 和 Codex 上构造分段提示注入并发布边界动作审计基准

    提出 PAA 路径对齐归因，审计编程智能体边界动作前的分段提示注入

    编程 Agent测试Claude Code (v2.1.172, Claude Sonnet 5)、Codex CLI (v0.144.0, GPT-5.5)、Claude Sonnet 5 等 7 个应用层
    摘要论文针对长流程注入提出边界动作审计与 PAA，在保持低误阻的同时实现高拦截率。

    本研究针对长流程智能体在执行任务时面临的分阶段间接提示注入威胁，提出了在动作生效前进行拦截的边界动作审计框架与路径对齐归因方法。

    完整解读
  9. 评测与基准arXiv:2604.02947 ·

    AgentHazard：评估计算机使用智能体有害行为的基准

    提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为

    网页与电脑操作编程 Agent测试Qwen2.5-72B-Instruct、Qwen2.5-Coder-32B-Instruct、Qwen3-32B 等 12 个应用层
    摘要AgentHazard 评估了计算机使用智能体的执行安全，作者认为模型层对齐无法可靠保障智能体层面的安全性。

    AgentHazard 是针对计算机使用智能体执行层安全构建的评估基准，重点探究多步工具调用下局部合理动作累积引发的危害。

    完整解读
  11. 评测与基准arXiv:2610.03448 ·

    研究重测 15 个提示注入检测器：基准分数难以预测 Agent 部署表现

    重评提示注入检测器，检验基准分数对智能体部署的预测力

    AI Agent测试Horizon-Labs、Wolf Defender、Prismor-1.5B 等 15 个应用层

    摘要论文揭示公开基准无法反映智能体检测器表现，检测能力源于输入格式相似而非通用防御，建议基于工具输出与低误报评测。

    完整解读
  15. 攻击arXiv:2609.39607 ·

    Pretext 攻击绕过 NVIDIA SkillSpector 等 Agent 技能扫描器

    提出 PRETEXT，迭代改写技能文本以绕过扫描并执行木马行为

    编程 Agent攻击者白盒测试glm (z-ai/glm-5.1)、qwen3t (qwen/qwen3-235b-a22b-thinking-2507)、gpt-oss (openai/gpt-oss-120b) 等 4 个应用层
    摘要论文提出了针对多阶段技能检测器的白盒攻击，揭示了单纯依赖大模型自适应检测的局限。

    PRETEXT 是一项针对基于“静态规则加语义大模型”的智能体技能安全检测框架的白盒攻击与协同进化评估研究。

    完整解读
  18. 防御arXiv:2608.06422 ·

    CMU 研究：分片判断可避免 LLM 监督失效并抵御对抗利用

    提出分片监督，将评判标准拆至独立调用以改善一致性并抵御展示攻击

    LLM 应用攻击者黑盒测试Claude Opus 4.8、Claude Sonnet 4.6、Claude Opus 4.6 等 5 个应用层
    摘要论文揭示决策负载是大模型监督的独立瓶颈，提出分片与辩论机制有效分离注意力与平衡证据，在多项高难度基准上实现稳健评判。

    本文系统研究了大语言模型在执行多标准监督与评判时的决策负载瓶颈及其安全风险。

    完整解读
加载更多