跳到正文
10月9日 · 周五

红队 · 论文

找到 6 篇
筛选4

攻击类型

越狱34提示注入36投毒与后门11检测规避3恶意使用3

攻击技术

自动化搜索1多轮渐进1角色扮演与说服1针对防御2

模型自身风险

危险能力1

防御类型

检测与过滤1

影响

越权操作1输出被操纵2监督失效2滥用能力提升1

系统形态

模型与 API2LLM 应用1AI Agent3编程 Agent2网页与电脑操作1

攻击者权限

黑盒3白盒1

攻击面/入口

用户输入4文档与消息1工具与技能描述1代码仓库与依赖2

层

提示层2应用层4

系统组件

MCP 与技能1护栏与评审3

被测模型厂商

OpenAI5Qwen（阿里）5其他6
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 61 篇还没打标签，不在筛选结果里。
攻击类型：检测规避攻击类型：恶意使用层：提示层层：应用层话题：红队清除全部

另有 61 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 评测与基准arXiv 2604.02947

    AgentHazard：评估计算机使用智能体有害行为的基准

    提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为

    arXiv
    2604.02947
    发表
    层
    应用层
    场景
    网页与电脑操作、编程 Agent
    测试
    Qwen2.5-72B-Instruct、Qwen2.5-Coder-32B-Instruct、Qwen3-32B 等 12 个
    摘要AgentHazard 评估了计算机使用智能体的执行安全，作者认为模型层对齐无法可靠保障智能体层面的安全性。

    AgentHazard 是针对计算机使用智能体执行层安全构建的评估基准，重点探究多步工具调用下局部合理动作累积引发的危害。

    深度解读完整解读
  2. 攻击arXiv 2609.39607

    Pretext 攻击绕过 NVIDIA SkillSpector 等 Agent 技能扫描器

    提出 PRETEXT 白盒攻击，迭代改写技能文本以绕过 Agent 技能扫描器

    arXiv
    2609.39607
    发表
    层
    应用层
    场景
    AI Agent
    攻击者
    白盒
    测试
    glm (z-ai/glm-5.1)、qwen3t (qwen/qwen3-235b-a22b-thinking-2507)、gpt-oss (openai/gpt-oss-120b) 等 4 个
    摘要论文提出了针对多阶段技能检测器的白盒攻击，揭示了单纯依赖大模型自适应检测的局限。

    PRETEXT 是一项针对基于“静态规则加语义大模型”的智能体技能安全检测框架的白盒攻击与协同进化评估研究。

    深度解读完整解读
  3. 防御arXiv 2608.06422

    CMU 研究：分片判断可避免 LLM 监督失效并抵御对抗利用

    提出分片监督，将评判标准分配给独立调用以抵御展示攻击

    arXiv
    2608.06422
    发表
    层
    应用层
    场景
    LLM 应用
    攻击者
    黑盒
    测试
    Claude Opus 4.8、Claude Sonnet 4.6、Claude Opus 4.6 等 5 个
    摘要论文揭示决策负载是大模型监督的独立瓶颈，提出分片与辩论机制有效分离注意力与平衡证据，在多项高难度基准上实现稳健评判。

    本文系统研究了大语言模型在执行多标准监督与评判时的决策负载瓶颈及其安全风险。

    深度解读完整解读
  4. 攻击arXiv 2609.08236

    研究：内容不变的风格包装可翻转 LLM 安全评判器的判定

    提出内容不变样式包装，翻转安全评审器的判定

    arXiv
    2609.08236
    发表
    层
    提示层
    场景
    模型与 API
    攻击者
    黑盒
    测试
    Keyword (rulebased)、GPT-4o-mini (gpt4o)、GPT-4o-mini (strongreject) 等 12 个
    摘要论文揭示特定安全评审器易受保持内容不变的外层包装诱导改变判定，并指出安全评估应将判定稳定性作为重要考量指标。

    这是一项关于大语言模型自动化安全评审系统表面样式脆弱性的评估研究。

    深度解读完整解读
  5. 攻击arXiv 2609.15383

    微软团队提出 capability laundering 攻击：弱模型拆分任务向对齐前沿模型套取能力

    提出能力洗钱攻击，让未对齐编排器拆分任务向对齐模型套取能力

    arXiv
    2609.15383
    发表
    层
    应用层
    场景
    编程 Agent
    攻击者
    黑盒
    测试
    GPT-5.5、Claude Opus 4.8、Grok-4.3 等 7 个

    摘要作者提出了能力洗钱攻击，发现未对齐编排器分解咨询对齐模型可恢复能力差距，指出需建立跨会话防御。

    深度解读完整解读
  6. 评测与基准arXiv 2609.35028

    VEX-Bench：评测 LLM 生成虚假信息的核验复杂度

    提出 VEX-Bench 评测 LLM 生成虚假信息的核查复杂度

    arXiv
    2609.35028
    发表
    层
    提示层
    场景
    模型与 API
    测试
    Claude Sonnet 4.5、Gemini 3.1 Pro、GPT-5.4 等 7 个
    摘要VEX-Bench 用筛查时的五维复杂度衡量虚假信息对核查容量的占用，并报告生成与核查的成本差。

    VEX-Bench 把 LLM 虚假信息的风险从“能否生成”改成“筛查时会占用多少核查容量”。

    深度解读完整解读
已经到底了