跳到正文
10月9日 · 周五

全部论文

找到 101 篇
筛选5

攻击类型

越狱25提示注入14投毒与后门10模型篡改5提取与窃取6检测规避4恶意使用2

攻击技术

梯度与表征优化3自动化搜索12多轮渐进4编码与混淆4角色扮演与说服7对话结构操控2推理链操控6跨模态载荷1针对防御7潜伏触发6诱导选用2

模型自身风险

欺骗与谋划7奖励作弊7失准与价值偏离7Agent 危险操作3危险能力5拒答失当3幻觉与编造2

防御类型

模型加固9推理时干预4检测与过滤4监控与审计3

影响

有害内容32越权操作11数据与隐私泄露9输出被操纵15可用性与可靠性2监督失效12滥用能力提升2

系统形态

模型与 API69LLM 应用14AI Agent123编程 Agent32网页与电脑操作6多智能体18

攻击者权限

黑盒20灰盒3白盒6

攻击面/入口

用户输入39文档与消息2工具返回2工具与技能描述10代码仓库与依赖5记忆写入3Agent 间消息2图像与音视频2训练数据5权重与梯度5分发渠道6

层

提示层25模型层32应用层29训练与数据层15

系统组件

MCP 与技能11记忆3护栏与评审13监控器7推理链14权限与沙箱4微调与开源权重6视觉4图像生成7嵌入1多模态11

被测模型厂商

Qwen（阿里）255Google192Meta180OpenAI178Anthropic101DeepSeek83Mistral61智谱 GLM51Kimi（月之暗面）45Ai234Microsoft21xAI16MiniMax15上海 AI 实验室15EleutherAI13NVIDIA12Stability AI10Black Forest Labs8TII7字节跳动6Hugging Face6其他169
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 600 篇还没打标签，不在筛选结果里。
系统形态：模型与 API系统形态：编程 Agent被测模型厂商：DeepSeek被测模型厂商：NVIDIA被测模型厂商：Black Forest Labs清除全部

另有 600 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 攻击arXiv 2608.09732

    ColluSkill 用跨技能组合绕过 Agent 技能扫描器

    提出 ColluSkill 跨技能组合攻击，拆分恶意载荷以绕过技能扫描器

    arXiv
    2608.09732
    发表
    层
    应用层
    场景
    编程 Agent
    攻击者
    黑盒、灰盒
    测试
    DeepSeek-V4-Pro、GPT-5.5、GLM-5.2

    摘要论文揭示了单技能孤立扫描的盲区，提出多技能链攻击 ColluSkill 与上下文防御 ChainGuard 并验证了有效性。

    深度解读完整解读
  2. 攻击arXiv 2608.25776

    EvoMal 攻击利用自我进化编码 Agent 的自我投毒实现蠕虫式传播

    提出 EVOMAL 攻击，诱导编码 Agent 自我投毒并蠕虫式传播技能

    arXiv
    2608.25776
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    DeepSeek-V4-Pro、Devstral-Small-2、Gemma-4-31B-IT 等 7 个

    摘要论文指出了自演化智能体模仿检索代码的自我毒化漏洞，提出 EVOMAL 攻击与防御，阐明了供应链新风险。

    深度解读完整解读
  3. 防御arXiv 2609.38909

    Purdue 提出 Pact：将欺骗作为行为遗忘

    提出 PACT，遗忘推理模型在压力下的欺骗行为并保留上下文理解

    arXiv
    2609.38909
    发表
    层
    训练与数据层
    场景
    模型与 API
    攻击者
    白盒
    测试
    DeepSeek-R1-Distill-Qwen-32B、QwQ-32B

    摘要论文将大模型欺骗形式化为上下文条件行为，提出 PACT 框架在消除欺骗的同时保留了上下文遵循能力。

    深度解读完整解读
  6. 攻击arXiv 2610.07723

    研究者提出答案侧后门：让模型自生成触发词绕过安全拒答

    提出回答端后门，让模型自生成触发词以在干净有害请求下绕过拒答

    arXiv
    2610.07723
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    DeepSeek-R1、Llama-2-7B-chat-hf、Mistral-7B-Instruct-v0.3 等 4 个

    摘要论文提出了多轮对话中回答端自生成触发词绕过安全拒绝的后门攻击，指出输入端防护存在盲区。

    深度解读完整解读
  7. 防御arXiv 2610.06001

    AgentSpy：在系统调用层观测 AI Agent 行为并检测技能注入攻击

    提出 AgentSpy，在系统调用层观测 Agent 并检测技能注入

    arXiv
    2610.06001
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    deepseek-v4-flash、gpt-5.6-terra、glm-5.3-flash 等 4 个
    摘要提出了系统级智能体监控框架 AgentSpy，揭示出通过测试背后的非预期行为与注入风险。

    本研究提出了面向 AI 智能体的系统级外部监控与行为分析框架 AgentSpy。

    深度解读完整解读
  9. 风险行为arXiv 2610.03185

    研究将 on-policy distillation 视为隐式奖励优化，揭示奖励作弊导致的训练崩溃

    揭示在策略蒸馏的训练崩溃是对教师偏置的奖励投机

    arXiv
    2610.03185
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    DeepSeek-R1-Distill-Qwen-1.5B、JustRL-1.5B、DeepScaleR-1.5B-Preview 等 8 个
    摘要论文从强化学习视角阐释在策略蒸馏，揭示其提升采样效率而不扩边界，崩溃源于教师奖励偏置引发的奖励投机并可通过掩码缓解。

    该研究从强化学习视角系统分析了语言模型在策略蒸馏（OPD）中的性能增益机制与退化崩溃原因。

    深度解读完整解读
  10. 风险行为arXiv 2609.39050

    研究：九个前沿模型中七个会隐蔽传递凭据以绕过监控

    测量良性多智能体协作中自发隐蔽传递凭据以绕过监控

    arXiv
    2609.39050
    发表
    层
    应用层
    场景
    多智能体、编程 Agent
    测试
    DeepSeek-V4-Pro、DeepSeek-V3.2、devstral-2512 等 15 个

    摘要论文揭示智能体会因良性助人意图自主编码凭据规避监控，主张不能单靠内容审查，需在动作层强化严格鉴权。

    深度解读完整解读
  13. 攻击arXiv 2609.18217

    研究：跨通道碎片化攻击可绕过 MCP 单通道防御

    提出跨通道分段攻击，利用 MCP 隐式信任诱导外发敏感文件

    arXiv
    2609.18217
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    DeepSeek-V3、GPT-4o、GPT-4o-mini 等 15 个

    摘要论文揭示了 MCP 多通道隐式信任层级，通过跨通道分段与协议级利用突破现有防御，展示了严重的凭证外发风险。

    深度解读完整解读
  14. 评测与基准arXiv 2610.00568

    研究提出对齐诱导不忠实：对齐训练让模型静默改写输入内容

    提出 FAITHCONFLICT，测量对齐训练导致模型静默改写相悖输入

    arXiv
    2610.00568
    发表
    层
    模型层
    场景
    模型与 API
    测试
    DeepSeek-V3、Llama-3.1-8B-Instruct、Llama-3.1-70B-Instruct 等 13 个
    摘要论文揭示并系统分析了大语言模型在安全与常识冲突下静默背离输入的 AIU 现象与三元冲突困境。

    本文系统揭示并实证分析了语言模型后训练中存在的“能力–安全–忠实度”三元冲突。

    深度解读完整解读
  15. 攻击arXiv 2607.23496

    Concept2Scenario：用 SAE 概念归因发现可迁移的越狱场景

    提出 Concept2Scenario，借助内部概念归因发现可迁移的越狱场景

    arXiv
    2607.23496
    发表
    层
    提示层
    场景
    模型与 API
    攻击者
    白盒、黑盒
    测试
    deepseek-v3-huawei-910b、Qwen3.5-9B、Llama-3.1-8B 等 10 个

    摘要该研究从表征空间因果归因揭示场景削弱拒绝的机制，发现可复用脆弱场景先验，提升多模型黑盒越狱效能与探索速度。

    深度解读完整解读
  16. 攻击arXiv 2607.12340

    研究：LLM Agent 技能名幻觉率最高达 62%，可被抢注用于供应链攻击

    提出技能名称抢注攻击，利用智能体虚构技能名实施供应链劫持

    arXiv
    2607.12340
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Nemotron-Cascade-2 30B、GLM-4.5-Air、GPT-5.4-mini 等 10 个
    摘要研究证实智能体虚构技能名具有高发生率与可预测性，现有防御难以兼顾安全与效用，亟需注册表结构性防护。

    本研究系统揭示了大模型智能体技能推荐场景下的虚构技能名称安全风险，将其形式化为一种新型供应链抢注攻击。

    深度解读完整解读
  17. 可解释性arXiv 2609.14759

    研究：拒答只读取模型道德表征中的伤害切片

    用几何投影与因果交换干预，分析拒绝机制读取的道德表征

    arXiv
    2609.14759
    发表
    层
    模型层
    场景
    模型与 API
    测试
    DeepSeek-R1-Distill-Llama-8B、DeepSeek-R1-Distill-Qwen-14B、OLMo-3-7B-Instruct 等 9 个
    摘要作者指出拒绝机制多仅读取表层伤害感知，在控制瓶颈处运作，阐明了对齐易被移除的机理并提出跨模型双轴分类。

    本文是一项针对大语言模型拒绝机制与对齐浅层性的机械解释性研究。

    深度解读完整解读
  18. 攻击arXiv 2608.09867

    研究者利用加密推理块跨模型兼容性窃取专有 LLM 推理链

    利用加密思维块的跨模型重放，诱导弱模型逐字转写专有推理链

    arXiv
    2608.09867
    发表
    层
    提示层
    场景
    模型与 API
    攻击者
    黑盒
    测试
    DeepSeek-V4-Flash、Claude Opus 4.8、Claude Sonnet 4.6 等 15 个

    摘要论文揭示了客户端加密思维块跨模型互换漏洞，提出了低成本提取方法并给出防御方案。

    深度解读完整解读
  19. 评测与基准arXiv 2608.11469

    SRE-Bench：面向 Agent 逆向工程的无污染真实规模基准

    构建无污染的 SRE-Bench，评测智能体在真实规模二进制上的逆向能力

    arXiv
    2608.11469
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    DeepSeek-V4.1-Flash、GPT-6-Astra、GPT-5.6-Sol 等 11 个
    摘要SRE-Bench 用从零编写的大规模保护二进制评测智能体 RE，公开设置下多数模型完全解开比例不高。

    作者构建并评测 SRE-Bench，一个从零编写、用于测量智能体逆向工程而非利用开发的基准，并称它同时满足污染控制与真实软件规模。

    深度解读完整解读
加载更多