跳到正文
10月8日 · 周四

红队 · 论文

找到 29 篇
筛选2

攻击类型

越狱13提示注入9检测规避1恶意使用1

攻击技术

梯度与表征优化1自动化搜索6多轮渐进2编码与混淆2角色扮演与说服3跨模态载荷1针对防御2潜伏触发1

模型自身风险

欺骗与谋划1失准与价值偏离1

防御类型

检测与过滤4指令与数据隔离1权限与审批2监控与审计1

影响

有害内容12越权操作8数据与隐私泄露3输出被操纵1可用性与可靠性2监督失效2

系统形态

模型与 API14AI Agent15编程 Agent3网页与电脑操作3

攻击者权限

黑盒9白盒1

攻击面/入口

用户输入16网页与界面4文档与消息3工具返回5工具与技能描述1代码仓库与依赖2记忆写入2图像与音视频1

层

提示层14应用层15

系统组件

MCP 与技能1记忆1RAG1护栏与评审9监控器1推理链1权限与沙箱3视觉2音频1图像生成1多模态3

被测模型厂商

OpenAI65Qwen（阿里）52Anthropic50Google40DeepSeek39Meta26智谱 GLM24Kimi（月之暗面）21xAI11Mistral10MiniMax10字节跳动5其他31
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 67 篇还没打标签，不在筛选结果里。
被测模型厂商：Meta被测模型厂商：Mistral话题：红队清除全部

另有 67 篇论文还没打上分类标签，暂不在筛选结果里。

  3. 攻击arXiv 2601.02670

    SLIP：无需外部攻击模型的多轮自我越狱

    提出无外部攻击模型的多轮自我越狱方法 SLIP

    arXiv
    2601.02670
    发表
    层
    提示层
    场景
    模型与 API
    攻击者
    黑盒
    测试
    Llama-3.3-70B-Instruct、Llama-3.1-8B-Instruct、Mistral-7B-Instruct 等 11 个

    摘要论文提出了无外部攻击模型的自我越狱方法 SLIP，指出对齐模型内在能力抑制的漏洞并设计了语义漂移防御。

    深度解读完整解读
  5. 评测与基准arXiv 2604.02947

    AgentHazard：评估计算机使用智能体有害行为的基准

    提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为

    arXiv
    2604.02947
    发表
    层
    应用层
    场景
    网页与电脑操作、编程 Agent
    测试
    Llama-Guard-3-8B、Qwen2.5-72B-Instruct、Qwen2.5-Coder-32B-Instruct 等 12 个
    摘要AgentHazard 评估了计算机使用智能体的执行安全，作者认为模型层对齐无法可靠保障智能体层面的安全性。

    AgentHazard 是针对计算机使用智能体执行层安全构建的评估基准，重点探究多步工具调用下局部合理动作累积引发的危害。

    深度解读完整解读
  6. 评测与基准arXiv 2610.03448

    研究重测 15 个提示注入检测器：基准分数难以预测 Agent 部署表现

    重评提示注入检测器，检验基准分数对智能体部署的预测力

    arXiv
    2610.03448
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Prompt Guard 2 (86M)、Prompt Guard 2 (22M)、Prompt Guard 1 等 15 个

    摘要论文揭示公开基准无法反映智能体检测器表现，检测能力源于输入格式相似而非通用防御，建议基于工具输出与低误报评测。

    深度解读完整解读
  7. 攻击arXiv 2609.18217

    研究：跨通道碎片化攻击可绕过 MCP 单通道防御

    提出跨通道分段攻击，借 MCP 多通道隐式信任外发敏感数据

    arXiv
    2609.18217
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Llama-3.3-70B、Mistral-Large、GPT-4o 等 15 个

    摘要论文揭示了 MCP 多通道隐式信任层级，通过跨通道分段与协议级利用突破现有防御，展示了严重的凭证外发风险。

    深度解读完整解读
  8. 评测与基准arXiv 2609.09404

    MMPIBench：多模态提示注入对六种 Agent 框架的跨框架评测

    用 MMPIBench 评测智能体框架的多模态提示注入

    arXiv
    2609.09404
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Llama 4 Maverick、Claude Opus 4.8、GPT-5.4 等 6 个

    摘要论文提出 MMPIBench 评测多模态提示注入对智能体的影响，发现模型主导行为、尝试远超完成，音频通道缺乏防护。

    深度解读完整解读
  9. 攻击arXiv 2607.23496

    Concept2Scenario：用 SAE 概念归因发现可迁移的越狱场景

    提出 Concept2Scenario，借助内部概念归因发现可迁移的越狱场景

    arXiv
    2607.23496
    发表
    层
    提示层
    场景
    模型与 API
    攻击者
    白盒、黑盒
    测试
    Llama-3.1-8B、Ministral-3-8B、Qwen3.5-9B 等 10 个

    摘要该研究从表征空间因果归因揭示场景削弱拒绝的机制，发现可复用脆弱场景先验，提升多模型黑盒越狱效能与探索速度。

    深度解读完整解读
  10. 风险行为arXiv 2609.35799

    研究者复现 OpenAI-HuggingFace 事件中的失准行为，并提出自动化对齐测试方法

    在模拟环境中复现级联失准行为并降低审计诱导开销

    arXiv
    2609.35799
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Muse Spark 1.3、GLM 5.2、GLM 5.3 等 9 个

    摘要论文复现了 OpenAI–HF 事件四步失准行为，作者报告高阶描述结合算力可自动诱导，并展示了 RL 降本潜力。

    深度解读完整解读
  13. 评测与基准arXiv 2609.10594

    研究系统比较六种越狱评测器的可靠性

    比较多种越狱评审器与人工标签的一致性

    arXiv
    2609.10594
    发表
    层
    提示层
    场景
    模型与 API
    测试
    Llama 2 13B、Llama 2 7B Chat、orcarouter/Qwen3.8-27B-Uncensored 等 7 个
    摘要共享骨干下六种评审器与人标的一致程度不同，JADES 的 F1 最高。

    这项测量比较的是越狱成功怎样被自动判定，不提出新的攻击。。

    深度解读完整解读
  14. 攻击arXiv 2609.08236

    研究：内容不变的风格包装可翻转 LLM 安全评判器的判定

    提出内容不变样式包装，翻转安全评审器的判定

    arXiv
    2609.08236
    发表
    层
    提示层
    场景
    模型与 API
    攻击者
    黑盒
    测试
    Llama Guard 4 (12B)、Llama-2-7B、Keyword (rulebased) 等 12 个
    摘要论文揭示特定安全评审器易受保持内容不变的外层包装诱导改变判定，并指出安全评估应将判定稳定性作为重要考量指标。

    这是一项关于大语言模型自动化安全评审系统表面样式脆弱性的评估研究。

    深度解读完整解读
  15. 评测与基准arXiv 2609.08256

    ACEA：面向红蓝队对抗的 LLM 协同演化测试平台

    提出红蓝对抗评测平台 ACEA，分开计量攻击强度与防御效果

    arXiv
    2609.08256
    发表
    层
    提示层
    场景
    模型与 API
    测试
    mistralai/ministral-3b-2512、mistralai/mistral-large-2512、openai/gpt-4o 等 5 个
    摘要ACEA 用 ASAP 让红蓝对同一目标对打。

    ACEA 是让可插拔红队和蓝队共享一个目标 LLM 的对打场地，把攻击强度和防御效果分开记分。作者要补三处空缺：双方只能对着固定对手分开练。LLM judge 分不清真实泄露和幻觉，拦截后又看不到攻击有多强。

    深度解读完整解读
  16. 评测与基准arXiv 2609.09798

    CS-Guard：首个面向代码生成安全的 LLM 护栏评测基准

    提出 CS-Guard 基准与虚构场景攻击，评测代码生成护栏

    arXiv
    2609.09798
    发表
    层
    应用层
    场景
    编程 Agent
    攻击者
    黑盒
    测试
    CodeLlama-13B-Instruct、Devstral-small-v2-24B、DeepSeekCoder-V2-Lite-16B 等 7 个

    摘要论文提出了代码安全护栏基准 CS-Guard，评估发现现有护栏对虚构场景攻击和代码级恶意请求防御较弱。

    深度解读完整解读
  17. 其他arXiv 2609.12413

    SoK 综述：智能体 AI 时代的越狱攻击、防御与实践考量

    综述智能体执行链路中的越狱攻击、防御与实践权衡

    arXiv
    2609.12413
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Llama-3.1-8B-Instruct、Qwen3.5-4B
    摘要SoK 将越狱重放到智能体流水线，并用两种模型检验回复层防御的边际与代价。

    Mia 等人把越狱安全从单轮回复扩展到智能体的规划、记忆、工具和智能体间通信，并问既有结论在更强原生对齐下是否还成立。

    深度解读完整解读
  18. 评测与基准arXiv 2609.19140

    AgentLSD：在对抗性任务污染下评测 AI 安全 Agent

    用 AgentLSD 评测安全 Agent 在对抗任务污染下的解题与开销

    arXiv
    2609.19140
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    Mistral Small 4、Gemma-4 31B、DeepSeek-V4 Flash 等 6 个
    摘要AgentLSD 用配对 web CTF 表明，欺骗性环境证据会改变安全智能体的解题率与工作量。

    AgentLSD 是一个对照框架，用来测量安全智能体在任务本身不变时，对对抗性任务污染的反应。

    深度解读完整解读
加载更多