跳到正文
10月8日 · 周四

红队 · 论文

找到 21 篇
筛选2

攻击类型

越狱13提示注入3检测规避1恶意使用1

攻击技术

梯度与表征优化3自动化搜索7多轮渐进2编码与混淆2角色扮演与说服2对话结构操控1推理链操控2跨模态载荷3针对防御1

模型自身风险

拒答失当1

防御类型

模型加固1检测与过滤1指令与数据隔离1权限与审批1

影响

有害内容14越权操作4数据与隐私泄露2输出被操纵1

系统形态

模型与 API15LLM 应用1AI Agent48编程 Agent25网页与电脑操作6多智能体4具身与机器人1

攻击者权限

黑盒10白盒2无盒1

攻击面/入口

用户输入15网页与界面5文档与消息1工具返回1工具与技能描述1代码仓库与依赖1图像与音视频3

层

提示层14模型层1应用层6

系统组件

MCP 与技能1RAG1护栏与评审5推理链2权限与沙箱1视觉2视频1图像生成1多模态4

被测模型厂商

OpenAI16Anthropic13Google13Qwen（阿里）13DeepSeek10Meta8其他17
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 98 篇还没打标签，不在筛选结果里。
系统形态：模型与 API系统形态：网页与电脑操作话题：红队清除全部

另有 98 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 攻击arXiv 2608.04741

    LoginTrap：针对 LLM Web Agent 的任务无关钓鱼式间接提示注入攻击

    提出 LoginTrap，用网页弹窗实施任务无关钓鱼式间接提示注入并窃取敏感信息

    arXiv
    2608.04741
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    GPT-4o、Gemini 3 Flash、Claude Sonnet 4 等 7 个

    摘要揭示网络智能体在黑盒网页下的登录诱导风险，利用模糊测试生成话术并跨骨干和架构验证了隐私泄露威胁。

    深度解读完整解读
  3. 攻击arXiv 2610.09240

    WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作

    提出 WebMirage，用对抗图像劫持视觉网页智能体的浏览器操作

    arXiv
    2610.09240
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    LLaVA-v1.5-13B、LLaVA-v1.6-34B、MiniCPM-o-8B 等 6 个
    摘要论文提出了针对网络智能体的端到端视觉红队框架 WebMirage，揭示了从视觉定位到浏览器执行的安全脆弱性。

    WebMirage 是一个面向视觉定位网络智能体的流水线感知端到端红队攻击框架。

    深度解读完整解读
  5. 评测与基准arXiv 2604.02947

    AgentHazard：评估计算机使用智能体有害行为的基准

    提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为

    arXiv
    2604.02947
    发表
    层
    应用层
    场景
    网页与电脑操作、编程 Agent
    测试
    Qwen2.5-72B-Instruct、Qwen2.5-Coder-32B-Instruct、Qwen3-32B 等 12 个
    摘要AgentHazard 评估了计算机使用智能体的执行安全，作者认为模型层对齐无法可靠保障智能体层面的安全性。

    AgentHazard 是针对计算机使用智能体执行层安全构建的评估基准，重点探究多步工具调用下局部合理动作累积引发的危害。

    深度解读完整解读
  7. 防御arXiv 2610.03089

    COBRA：为计算机使用 Agent 防御分支引导攻击的双 LLM 架构

    提出 COBRA 双 LLM 架构，防御计算机使用智能体的分支转向攻击

    arXiv
    2610.03089
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    gpt-5、UI-TARS-1.5-7B、claude-sonnet-5 等 6 个

    摘要提出分支转向防御架构 COBRA，通过事前能力约束与边界代理消除分支转向攻击并兼顾效用。

    深度解读完整解读
  8. 攻击arXiv 2607.23496

    Concept2Scenario：用 SAE 概念归因发现可迁移的越狱场景

    提出 Concept2Scenario，借助内部概念归因发现可迁移的越狱场景

    arXiv
    2607.23496
    发表
    层
    提示层
    场景
    模型与 API
    攻击者
    白盒、黑盒
    测试
    Qwen3.5-9B、Llama-3.1-8B、Ministral-3-8B 等 10 个

    摘要该研究从表征空间因果归因揭示场景削弱拒绝的机制，发现可复用脆弱场景先验，提升多模型黑盒越狱效能与探索速度。

    深度解读完整解读
  11. 评测与基准arXiv 2609.32547

    研究者提出预算受限的 LLM 重复评测框架，优先深挖隐藏失败

    提出预算化发现框架，优先深评更可能隐藏失败的安全提示词

    arXiv
    2609.32547
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Qwen 2.5 7B、Qwen/Qwen2.5-7B-Instruct-Turbo、Gemma 3n E4B 等 6 个
    摘要浅层零失败的提示词仍可按潜在失败倾向排序，从而把有限深评预算投向更可能暴露隐藏失败之处。

    作者把 LLM 可靠性评测写成预算约束下的隐藏失败发现：每条提示词有未知的逐次失败概率，浅层少量采样中的零失败并不等于该概率为零。

    深度解读完整解读
  14. 攻击arXiv 2609.08236

    研究：内容不变的风格包装可翻转 LLM 安全评判器的判定

    提出内容不变样式包装，翻转安全评审器的判定

    arXiv
    2609.08236
    发表
    层
    提示层
    场景
    模型与 API
    攻击者
    无盒、黑盒
    测试
    Keyword (rulebased)、GPT-4o-mini (gpt4o)、GPT-4o-mini (strongreject) 等 12 个
    摘要论文揭示特定安全评审器易受保持内容不变的外层包装诱导改变判定，并指出安全评估应将判定稳定性作为重要考量指标。

    这是一项关于大语言模型自动化安全评审系统表面样式脆弱性的评估研究。

    深度解读完整解读
  15. 攻击arXiv 2607.18056

    上海 AI 实验室提出 Intern-BioBreaker，在 14 个前沿模型上暴露生物安全越狱风险

    提出生物红队模型 Intern-BioBreaker，多轮越狱诱导模型输出可操作生物危害

    arXiv
    2607.18056
    发表
    层
    提示层
    场景
    模型与 API
    测试
    DeepSeek-V3、Kimi-K2.6、DeepSeek-V4-Pro 等 14 个

    摘要论文通过构建专用红队模型评估前沿大模型的生物安全漏洞与物理转化风险。

    深度解读完整解读
  18. 攻击arXiv 2609.38253

    CollageAttack：利用跨模态对齐缺陷对 T2I 模型实施空间文本组合越狱

    提出 CollageAttack，用空间文本碎片重组越狱文生图模型

    arXiv
    2609.38253
    发表
    层
    提示层
    场景
    模型与 API
    攻击者
    黑盒
    测试
    GPT-Image-2、Doubao-Seedream-5.0-Lite、Wan2.7-Image-Pro 等 5 个

    摘要系统揭示 T2I 跨模态空间合成安全漏洞，证实离散无害元素可在图像层面重构有害意图并放大传播强度。

    深度解读完整解读
  20. 评测与基准arXiv 2608.03070

    FAR.AI 发布 AI 安全排行榜与护栏最低标准 1.0

    建立越狱原语分类与双重危害基准，评测模型抵御常见越狱的能力

    arXiv
    2608.03070
    发表
    层
    提示层
    场景
    模型与 API
    测试
    Claude Fable 5、Claude Opus 4.8、GPT-5.6 Sol 等 8 个
    摘要论文系统评测了前沿模型对已知静态越狱的防御能力，揭示了厂商间防护鲁棒性的巨大分化。

    本研究针对前沿 AI 大模型在 CBRNE 与网络高危滥用领域的安全防护，提出了 FAR.AI 最低安全标准（Minimal Standard v1.0）及配套评测基准，系统量化了当前主流模型的防护鲁棒性。

    深度解读完整解读
加载更多