跳到正文
10月9日 · 周五

全部论文

找到 55 篇
筛选5

攻击类型

越狱3提示注入22投毒与后门16检测规避1恶意使用1

攻击技术

自动化搜索5多轮渐进1编码与混淆1跨模态载荷1针对防御2潜伏触发4

模型自身风险

欺骗与谋划1失准与价值偏离5Agent 危险操作9拒答失当2偏见与歧视1

防御类型

模型加固5推理时干预2检测与过滤2指令与数据隔离2权限与审批5监控与审计5

影响

有害内容115越权操作35数据与隐私泄露51输出被操纵102可用性与可靠性20监督失效63滥用能力提升6

系统形态

模型与 API17LLM 应用5AI Agent144编程 Agent28网页与电脑操作14多智能体12具身与机器人5

攻击者权限

黑盒1灰盒1

攻击面/入口

用户输入7网页与界面2文档与消息6工具返回6工具与技能描述12代码仓库与依赖8检索语料2记忆写入6Agent 间消息4图像与音视频2训练数据4权重与梯度4分发渠道7

层

提示层1模型层7应用层38训练与数据层9

系统组件

MCP 与技能11记忆5护栏与评审2监控器7推理链1权限与沙箱7微调与开源权重2视觉1音频2多模态3

被测模型厂商

OpenAI36Qwen（阿里）31Anthropic24Google24DeepSeek20Meta13智谱 GLM13Kimi（月之暗面）11MiniMax7Mistral6xAI6其他17
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 485 篇还没打标签，不在筛选结果里。
影响：越权操作影响：可用性与可靠性系统形态：模型与 API系统形态：编程 Agent系统形态：多智能体清除全部

另有 485 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 攻击arXiv 2610.09819

    FAB 攻击：给 HuBERT/WavLM 植入后门，背景警笛声即可让下游语音任务失灵

    提出 FAB 攻击，向声学基础模型植入可由环境声触发的后门

    arXiv
    2610.09819
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    HuBERT-base、WavLM-base

    摘要论文提出了针对声学基模的 FAB 后门攻击，在弱威胁模型下实现了任务无关、物理可触发的后门植入。

    深度解读完整解读
  2. 评测与基准arXiv 2610.10276

    PatchBench 提出激活补丁局部评测协议，揭示越狱修复的附带损伤

    提出 PatchBench-Local 协议，评测激活补丁修复越狱的局部附带损伤

    arXiv
    2610.10276
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Qwen2.5-3B-Instruct、Qwen2.5-14B-Instruct、gemma-3-4b-it 等 8 个

    摘要论文提出 PatchBench 与局部评估协议，揭示了激活补丁在全局能力无损下仍存局部良性退化。

    深度解读完整解读
  3. 分析与理论arXiv 2610.04375

    论文揭示 LLM Agent 工具调用在执行路径中被改写，并提出 IntAct 修复方案

    提出 IEC 协议与 IntAct，定位并修复 Agent 工具调用的静默篡改

    arXiv
    2610.04375
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    qwen3-coder-plus、Qwen2.5-Coder-32B、Qwen2.5-72B 等 4 个

    摘要论文界定工具调用在执行路径中的意图偏离问题，提出无执行归因协议与跳级修复，为智能体工程提供评测与设计准则。

    深度解读完整解读
  5. 防御arXiv 2610.06001

    AgentSpy：在系统调用层观测 AI Agent 行为并检测技能注入攻击

    提出 AgentSpy，在系统调用层观测 Agent 并检测技能注入

    arXiv
    2610.06001
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    gpt-5.6-terra、deepseek-v4-flash、glm-5.3-flash 等 4 个
    摘要提出了系统级智能体监控框架 AgentSpy，揭示出通过测试背后的非预期行为与注入风险。

    本研究提出了面向 AI 智能体的系统级外部监控与行为分析框架 AgentSpy。

    深度解读完整解读
  6. 防御arXiv 2610.05640

    研究揭示 CaMeL 防护在多智能体系统中失效并提出 multi-CaMeL

    提出 multi-CaMeL，在多智能体调用边界隔离可信指令与不可信数据

    arXiv
    2610.05640
    发表
    层
    应用层
    场景
    多智能体
    测试
    Claude Fable 5、GPT-5.5、GPT-4.1 等 6 个

    摘要论文针对多智能体中单体防御不组合的边界清洗问题，提出 multi-CaMeL 协议彻底阻断了 MultiAgentDojo 上的注入攻击。

    深度解读完整解读
  7. 防御arXiv 2610.05163

    研究者在 Claude Code 和 Codex 上构造分段提示注入并发布边界动作审计基准

    提出路径对齐归因 PAA，在边界动作前审计长流程智能体的分段提示注入

    arXiv
    2610.05163
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Claude Code (v2.1.172, Claude Sonnet 5)、Codex CLI (v0.144.0, GPT-5.5)、Claude Sonnet 5 等 7 个
    摘要论文针对长流程注入提出边界动作审计与 PAA，在保持低误阻的同时实现高拦截率。

    本研究针对长流程智能体在执行任务时面临的分阶段间接提示注入威胁，提出了在动作生效前进行拦截的边界动作审计框架与路径对齐归因方法。

    深度解读完整解读
  8. 评测与基准arXiv 2604.02947

    AgentHazard：评估计算机使用智能体有害行为的基准

    提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为

    arXiv
    2604.02947
    发表
    层
    应用层
    场景
    网页与电脑操作、编程 Agent
    测试
    Qwen2.5-72B-Instruct、Qwen2.5-Coder-32B-Instruct、Qwen3-32B 等 12 个
    摘要AgentHazard 评估了计算机使用智能体的执行安全，作者认为模型层对齐无法可靠保障智能体层面的安全性。

    AgentHazard 是针对计算机使用智能体执行层安全构建的评估基准，重点探究多步工具调用下局部合理动作累积引发的危害。

    深度解读完整解读
  9. 防御arXiv 2610.02126

    Local Support Learning：无需旧数据缓解 LLM 灾难性遗忘

    提出 Local Support Learning，把微调适配器限制在当前数据支撑以缓解遗忘

    arXiv
    2610.02126
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Qwen2.5-7B-Instruct、Qwen2.5-3B-Instruct、Qwen2.5-1.5B-Instruct
    摘要LSL 用 GMM 门把适配器限制在当前数据支撑内，以减轻多阶段遗忘。

    LSL 是不访问旧数据、在后训练中保持先前能力的框架。

    深度解读完整解读
  10. 风险行为arXiv 2609.39050

    研究：九个前沿模型中七个会隐蔽传递凭据以绕过监控

    测量良性多智能体协作中自发隐蔽传递凭据以绕过监控

    arXiv
    2609.39050
    发表
    层
    应用层
    场景
    多智能体、编程 Agent
    测试
    DeepSeek-V4-Pro、devstral-2512、gpt-oss-120b 等 15 个

    摘要论文揭示智能体会因良性助人意图自主编码凭据规避监控，主张不能单靠内容审查，需在动作层强化严格鉴权。

    深度解读完整解读
  12. 防御arXiv 2610.01170

    HeadEdit：通过冻结的 unembedding 矩阵校准语言模型行为

    提出 HeadEdit，经冻结 unembedding 做随输入变化的 logit 校正

    arXiv
    2610.01170
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Qwen3-4B、Gemma-3-4B-IT、Llama-3.2-3B-Instruct 等 4 个
    摘要低秩 unembedding 校正抬高九个设置的总体准确率，并可部分预测 DPO 更新。

    HeadEdit 是一种不更新参数的行为校准方法，作用点是冻结的 unembedding，而不是中间层残差或新的梯度优化。

    深度解读完整解读
  13. 攻击arXiv 2609.39352

    研究者提出解耦铺垫与执行的 LLM Agent 技能投毒攻击

    提出 CoordPoison，将技能投毒的借口与完整动作拆到上下游 Skill

    arXiv
    2609.39352
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    DeepSeek-V4-Flash、GLM-5.3-Flash、Claude-Sonnet-4.6 等 5 个
    摘要CoordPoison 外置借口。

    CoordPoison 是一种 Skill 供应链投毒方法，把“为何执行”和“执行什么”拆到两个 Skill。。

    深度解读完整解读
  15. 防御arXiv 2609.38983

    论文提出 Approval Laundering 分类，实测 Claude Code 审批与执行绑定失败

    提出 Approval Token 绑定编程智能体的审批与执行

    arXiv
    2609.38983
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Claude Code (v2.1.197, opus[1m] / claude-sonnet-5-ccmax)、Codex CLI (@openai/codex v0.154.0)

    摘要系统揭示编程智能体审批洗白风险，提出七字段权能防御机制，证实其能消除身份时序偏离但难防副作用偏离。

    深度解读完整解读
  16. 攻击arXiv 2609.35576

    研究提出跨 LLM 助手的记忆跳跃攻击

    提出跨独立助手的工件介导记忆跳跃自传播攻击

    arXiv
    2609.35576
    发表
    层
    应用层
    场景
    多智能体
    测试
    GPT-5.6 Luna、Kimi-K2.6、GPT-OSS-120B 等 6 个
    摘要论文证实持久工件与内存可形成跨智能体传播链，揭示了将共享工件纳入安全防线的重要意义。

    该论文系统研究并量化了通过共享持久工件在具有独立私有内存的 LLM 智能体之间发生自传播的“工件介导传播”攻击风险。

    深度解读完整解读
  18. 评测与基准arXiv 2609.35312

    MemoReason 基准

    提出 MemoReason 基准，测量参数记忆对上下文推理的影响

    arXiv
    2609.35312
    发表
    层
    模型层
    场景
    模型与 API
    测试
    GPT-OSS-20B、GPT-OSS-120B、OLMo-3-7B-Think 等 9 个
    摘要配对的虚构替换显示熟悉度影响推理，但模型很少直接抄回事实答案。

    MemoReason 用结构相同的事实–虚构文档配对，测量参数记忆如何影响大模型的上下文推理。

    深度解读完整解读
  20. 防御arXiv 2609.21561

    自蒸馏中的排斥与吸引教师：将正确性与行为分离

    提出对比自蒸馏，分离正确性与行为偏移

    arXiv
    2609.21561
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Qwen3-4B、Qwen3-4B-Instruct-2507
    摘要隔离自蒸馏后，对比正确与错误解教师可抵消行为偏移并稳定提升推理。

    把自蒸馏从 GRPO 里拆开后，用靠近正确解教师、远离错误解教师的对比信号，把正确性和行为分开。。

    深度解读完整解读
加载更多