跳到正文
10月9日 · 周五

全部论文

找到 8 篇
筛选5

攻击类型

越狱4提示注入55投毒与后门26提取与窃取1检测规避4拒绝服务1恶意使用1

攻击技术

自动化搜索1多轮渐进1角色扮演与说服1潜伏触发1

防御类型

检测与过滤2指令与数据隔离1权限与审批1监控与审计1

影响

有害内容1越权操作3数据与隐私泄露1输出被操纵2监督失效1

系统形态

LLM 应用3AI Agent5编程 Agent1

攻击者权限

黑盒4白盒1

攻击面/入口

用户输入24网页与界面3文档与消息6工具返回12工具与技能描述3代码仓库与依赖2记忆写入2图像与音视频2权重与梯度1分发渠道2

层

模型层5应用层8

系统组件

记忆2护栏与评审2监控器1推理链1权限与沙箱1

被测模型厂商

Anthropic6OpenAI5其他6
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 482 篇还没打标签，不在筛选结果里。
攻击类型：越狱攻击类型：检测规避攻击面/入口：文档与消息攻击面/入口：记忆写入层：应用层清除全部

另有 482 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 防御arXiv 2610.09793

    用时序逻辑监控工具 Agent

    提出 MFOTL 时序监控，用 MonPoly 检出工具 Agent 的危险动作链

    arXiv
    2610.09793
    发表
    层
    应用层
    场景
    AI Agent
    测试
    GPT-4o、Sonnet-3.5
    摘要形式化验证可有效识别多步攻击，但其有效性高度依赖轨迹的可信历史记录。

    这篇论文对工具调用大语言模型智能体的安全监控进行了形式化时序验证研究。

    深度解读完整解读
  2. 攻击arXiv 2606.09084

    研究者提出 Context-Fractured Decomposition 攻击

    提出 CFD，跨会话拆解有害目标以绕过工具智能体本地监控

    arXiv
    2606.09084
    发表
    层
    应用层
    场景
    AI Agent
    测试
    GPT-4.1、GPT-5-nano、Claude-3.5-Sonnet 等 6 个
    摘要CFD 用无指令 artifact 把越狱拆到跨会话。

    CFD针对工具型 LLM 智能体：利用 artifact 来源不被跟踪这一部署失败模式，把有害目标拆开后延迟组合。

    深度解读完整解读
  3. 防御arXiv 2609.08394

    Windows 恶意软件检测器作为复合 AI 系统：准确率、效率与对抗鲁棒性的权衡

    提出 OBELISK 三级流水线，权衡恶意软件检测的准确率、开销与鲁棒性

    arXiv
    2609.08394
    发表
    层
    应用层
    场景
    LLM 应用
    攻击者
    白盒、黑盒
    测试
    GBDT-ALL、GBDT-YARA、NEBULA-ALL 等 5 个
    摘要三级过滤以不大的检测损失换速度，同一机制扩大攻击面，部署应按约束选配置。

    OBELISK 把 Windows PE 恶意软件检测做成 YARA、EMBER-GBDT 与 Nebula 的顺序流水线，用来同时看检出、计算开销和对抗鲁棒性。

    深度解读完整解读
  4. 防御arXiv 2608.06422

    CMU 研究：分片判断可避免 LLM 监督失效并抵御对抗利用

    提出分片监督，将评判标准分配给独立调用以抵御展示攻击

    arXiv
    2608.06422
    发表
    层
    应用层
    场景
    LLM 应用
    攻击者
    黑盒
    测试
    Claude Opus 4.8、Claude Sonnet 4.6、Claude Opus 4.6 等 5 个
    摘要论文揭示决策负载是大模型监督的独立瓶颈，提出分片与辩论机制有效分离注意力与平衡证据，在多项高难度基准上实现稳健评判。

    本文系统研究了大语言模型在执行多标准监督与评判时的决策负载瓶颈及其安全风险。

    深度解读完整解读
  5. 攻击arXiv 2609.19722

    ALIBI：向二进制注入虚假安全叙事可让 LLM 恶意软件分析器误判

    提出 ALIBI，向恶意二进制注入不执行掩护叙事使分析器误判为良性

    arXiv
    2609.19722
    发表
    层
    应用层
    场景
    LLM 应用
    攻击者
    黑盒
    测试
    Gemini 2.5 Pro、GPT-5.5 Pro、Claude Opus 4.7 等 4 个
    摘要ALIBI 用二进制内的掩护叙事重释可疑静态证据，Gemini 上翻转多，另两模型主要为降级。

    ALIBI 是针对 LLM 恶意软件分诊的语义掩护叙事攻击：不覆盖系统指令，而把仍可见的可疑静态证据重释成良性安全产品的预期行为。

    深度解读完整解读
  6. 攻击arXiv 2607.11698

    AHA 用自动研究循环发现生产 Agent 漏洞概念

    提出 AHA 自动研究循环，发现生产 Agent 的漏洞概念

    arXiv
    2607.11698
    发表
    层
    应用层
    场景
    编程 Agent
    攻击者
    黑盒
    测试
    Minimax-M2.7、Kimi-K2.6、Deepseek-V4-Pro 等 5 个
    摘要论文提出基于可证伪科研循环的 AHA 框架，从生产级智能体中挖掘并沉淀漏洞概念图，提升攻击复用率并指导防御加固。

    AHA 是一项针对生产级 LLM 智能体自动化红队测试的研究，旨在解决传统方法仅保留具体攻击载荷而缺乏成因解释、导致跨版本复用困难且无法指导修复的问题。

    深度解读完整解读
  7. 其他arXiv 2609.12413

    SoK 综述：智能体 AI 时代的越狱攻击、防御与实践考量

    综述智能体执行链路中的越狱攻击、防御与实践权衡

    arXiv
    2609.12413
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Qwen3.5-4B、Llama-3.1-8B-Instruct
    摘要SoK 将越狱重放到智能体流水线，并用两种模型检验回复层防御的边际与代价。

    Mia 等人把越狱安全从单轮回复扩展到智能体的规划、记忆、工具和智能体间通信，并问既有结论在更强原生对齐下是否还成立。

    深度解读完整解读
已经到底了