跳到正文
10月8日 · 周四

全部论文

找到 111 篇
筛选2

攻击类型

越狱4提示注入31投毒与后门19提取与窃取5检测规避3拒绝服务1恶意使用2

攻击技术

梯度与表征优化1自动化搜索3多轮渐进2编码与混淆3角色扮演与说服1推理链操控1跨模态载荷1侧信道1针对防御3潜伏触发11诱导选用2

模型自身风险

欺骗与谋划7奖励作弊12失准与价值偏离2Agent 危险操作8危险能力9幻觉与编造4

防御类型

模型加固3推理时干预2检测与过滤12指令与数据隔离2权限与审批6监控与审计13

影响

有害内容4越权操作24数据与隐私泄露15输出被操纵19可用性与可靠性4监督失效19滥用能力提升5

系统形态

模型与 API348LLM 应用39AI Agent289编程 Agent72网页与电脑操作23多智能体39具身与机器人11

攻击者权限

黑盒6灰盒2白盒1

攻击面/入口

用户输入19网页与界面3文档与消息11工具返回6工具与技能描述14代码仓库与依赖12检索语料6记忆写入7Agent 间消息2图像与音视频4训练数据2权重与梯度2分发渠道11推理服务与硬件2

层

提示层2模型层7应用层95训练与数据层5基础设施层2

系统组件

MCP 与技能17记忆6RAG13护栏与评审16监控器21推理链5权限与沙箱8微调与开源权重2视觉4音频1图像生成1嵌入2多模态5

被测模型厂商

OpenAI75Qwen（阿里）69Anthropic59Google44DeepSeek39Meta34智谱 GLM31Kimi（月之暗面）23Mistral17MiniMax10Microsoft10xAI8其他38
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 702 篇还没打标签，不在筛选结果里。
系统形态：LLM 应用系统形态：编程 Agent清除全部

另有 702 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 攻击arXiv 2608.25776

    EvoMal 攻击利用自我进化编码 Agent 的自我投毒实现蠕虫式传播

    提出 EVOMAL 攻击，诱导编码 Agent 自我投毒并蠕虫式传播技能

    arXiv
    2608.25776
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Devstral-Small-2、Gemma-4-31B-IT、Qwen3-Coder-Next 等 7 个

    摘要论文指出了自演化智能体模仿检索代码的自我毒化漏洞，提出 EVOMAL 攻击与防御，阐明了供应链新风险。

    深度解读完整解读
  3. 攻击arXiv 2610.09981

    研究：LLM 路由决策日志可推断用户医疗、自伤等敏感话题

    提出利用路由元数据推断敏感话题的侧信道攻击

    arXiv
    2610.09981
    发表
    层
    基础设施层
    场景
    LLM 应用
    测试
    RouteLLM (BERT router)、notdiamond-0001、Vela (vLLM Semantic Router) 等 6 个

    摘要论文揭示并测量了 LLM 路由决策在无文本日志中的敏感话题泄露，验证了按类别公平性防御的有效性与边界。

    深度解读完整解读
  6. 评测与基准arXiv 2605.16626

    Sleight-Bench：40 条攻击中 20 条从未被 Opus 4.6 监控发现

    构建 SLEIGHT-BENCH，评测代码智能体监控器的概念盲点

    arXiv
    2605.16626
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Claude Opus 4.6、Claude Opus 4.7、Claude Sonnet 4.6 等 6 个

    摘要评估针对监控盲点的规避基准，发现前沿监控器漏报率高，算力与脚手架虽有提升但存在类别局限。

    深度解读完整解读
  7. 分析与理论arXiv 2610.04375

    论文揭示 LLM Agent 工具调用在执行路径中被改写，并提出 IntAct 修复方案

    提出 IEC 协议与 IntAct，定位并修复 Agent 工具调用的静默篡改

    arXiv
    2610.04375
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    qwen3-coder-plus、Qwen2.5-Coder-32B、Qwen2.5-72B 等 4 个

    摘要论文界定工具调用在执行路径中的意图偏离问题，提出无执行归因协议与跳级修复，为智能体工程提供评测与设计准则。

    深度解读完整解读
  11. 攻击arXiv 2610.07510

    PersistBD：攻击者可在发布前强化后门，使其在开发者 SFT 与 RL 后仍保持高攻击成功率

    提出 PERSISTBD，发布前强化后门以穿透良性 SFT 与 RL

    arXiv
    2610.07510
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Qwen2.5-Coder-3B-Instruct、Qwen2.5-Coder-7B-Instruct、Qwen3-Coder-30B-A3B-Instruct
    摘要总结了论文关于后门在 SFT/RL 中存活的发现、两因子机制、PERSISTBD 方法与核心数字。

    本文研究第三方 LLM 智能体在开发者进行良性监督微调（SFT）和强化学习（RL）后训练时的后门持久性风险。

    深度解读完整解读
  12. 防御arXiv 2610.06001

    AgentSpy：在系统调用层观测 AI Agent 行为并检测技能注入攻击

    提出 AgentSpy，在系统调用层观测 Agent 并检测技能注入

    arXiv
    2610.06001
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    gpt-5.6-terra、deepseek-v4-flash、glm-5.3-flash 等 4 个
    摘要提出了系统级智能体监控框架 AgentSpy，揭示出通过测试背后的非预期行为与注入风险。

    本研究提出了面向 AI 智能体的系统级外部监控与行为分析框架 AgentSpy。

    深度解读完整解读
  13. 防御arXiv 2605.17380

    Uber 提出 ADR 企业级 Agent 检测系统，在 7200 台主机部署十个月

    提出企业级检测系统 ADR，检测编程 Agent 的提示注入与恶意 MCP

    arXiv
    2605.17380
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    GPT-4o、Claude Sonnet 4、Llama Guard 3-8B 等 4 个

    摘要提出了端点因果遥测、两级在线分流与离线红队闭环的 ADR 系统，并在生产环境中验证了有效性。

    深度解读完整解读
  14. 分析与理论arXiv 2610.04860

    研究揭示文本水印会诱发模型幻觉，并提出两种缓解干预

    分析文本水印在 RAG 中诱发事实幻觉的机制并提出干预

    arXiv
    2610.04860
    发表
    层
    模型层
    场景
    LLM 应用
    测试
    LLaMA 3.1 8B Instruct、Mistral-7B-Instruct-v0.3、Qwen2.5-14B-Instruct
    摘要论文揭示了生产环境文本水印导致模型事实退化的失效模式，分析了解码机制并提出针对性干预。

    论文研究生产级文本水印对大语言模型事实准确性的影响，分析了水印诱发幻觉的失效模式并评估了针对性缓解方案。

    深度解读完整解读
  15. 攻击arXiv 2610.05793

    研究者训练出按多智能体拓扑触发的代码后门模型

    提出拓扑条件后门，使模型在推断多智能体部署时向代码插入隐蔽漏洞

    arXiv
    2610.05793
    发表
    层
    训练与数据层
    场景
    编程 Agent、多智能体
    测试
    Qwen2.5-7B-Instruct、Qwen2.5-Coder-7B-Instruct

    摘要论文证实了拓扑条件后门的可训练性与泛化性，展示了常规评测盲区，并提出差异化拓扑审计作为检测防御方向。

    深度解读完整解读
  16. 防御arXiv 2610.05870

    MBZUAI 提出可校准的真实图像认证方法

    提出校准重合成方法，以生成器反演保真度认证真实图像并防御对抗扰动

    arXiv
    2610.05870
    发表
    层
    应用层
    场景
    LLM 应用
    攻击者
    白盒
    测试
    SD2.1、SD3、SD3.5 等 10 个

    摘要论文提出基于反演保真度与阈值校准的健全认证框架，在对抗扰动下维持错误率界限，并指出真实内容可认证性随生成器演进而萎缩。

    深度解读完整解读
  17. 防御arXiv 2610.05163

    研究者在 Claude Code 和 Codex 上构造分段提示注入并发布边界动作审计基准

    提出路径对齐归因 PAA，在边界动作前审计长流程智能体的分段提示注入

    arXiv
    2610.05163
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Claude Code (v2.1.172, Claude Sonnet 5)、Codex CLI (v0.144.0, GPT-5.5)、Claude Sonnet 5 等 7 个
    摘要论文针对长流程注入提出边界动作审计与 PAA，在保持低误阻的同时实现高拦截率。

    本研究针对长流程智能体在执行任务时面临的分阶段间接提示注入威胁，提出了在动作生效前进行拦截的边界动作审计框架与路径对齐归因方法。

    深度解读完整解读
  20. 评测与基准arXiv 2604.02947

    AgentHazard：评估计算机使用智能体有害行为的基准

    提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为

    arXiv
    2604.02947
    发表
    层
    应用层
    场景
    网页与电脑操作、编程 Agent
    测试
    Qwen2.5-72B-Instruct、Qwen2.5-Coder-32B-Instruct、Qwen3-32B 等 12 个
    摘要AgentHazard 评估了计算机使用智能体的执行安全，作者认为模型层对齐无法可靠保障智能体层面的安全性。

    AgentHazard 是针对计算机使用智能体执行层安全构建的评估基准，重点探究多步工具调用下局部合理动作累积引发的危害。

    深度解读完整解读
加载更多