跳到正文
10月10日 · 周六

全部论文

找到 48 篇
筛选6

攻击类型

越狱16提示注入16投毒与后门16提取与窃取6拒绝服务3

攻击技术

自动化搜索5编码与混淆3推理链操控10跨模态载荷4针对防御6潜伏触发8

模型自身风险

Agent 危险操作3

防御类型

模型加固6检测与过滤3指令与数据隔离3权限与审批4

影响

有害内容15越权操作9数据与隐私泄露9输出被操纵6可用性与可靠性5监督失效3

系统形态

模型与 API26AI Agent22coding agent3

攻击者权限

黑盒12白盒4

攻击面/入口

用户输入37网页与界面8文档与消息13工具返回13工具与技能描述4代码仓库与依赖5检索语料4记忆写入29Agent 间消息4图像与音视频22训练数据4权重与梯度3

层

提示层13模型层7应用层21训练与数据层6

系统组件

MCP 与技能17记忆18RAG15护栏与评审66监控器24推理链24权限与沙箱22微调与开源权重35视觉35音频7视频3图像生成16多模态61
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 208 篇还没打标签，不在筛选结果里。
攻击面/入口：用户输入攻击面/入口：网页与界面攻击面/入口：训练数据系统组件：记忆系统组件：推理链系统组件：音频清除全部

另有 208 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 可解释性arXiv 2610.12361

    研究：法律推理模型引用法条不等于依据法条

    用依据置换与隐层追踪审计法律思维链是否真正依赖所引法条

    arXiv
    2610.12361
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    Qwen3-8B、Qwen3-14B、Llama-3.1-8B 等 7 个
    摘要作者通过依据置换反事实与内部承诺追踪发现法律 CoT 裁决对依据依赖度有限，且易受提示注入操纵。

    本研究针对法律领域大语言模型思维链推理中引用法律依据的因果真实性展开实证审计。

    深度解读完整解读
  2. 防御arXiv 2610.07657

    DEFER1 多智能体防御研究报告受控测试中的攻击成功率下降

    实现 DEFER，以确定性检查优先拦截多智能体流水线的内容攻击

    arXiv
    2610.07657
    发表
    层
    应用层
    场景
    多智能体
    被测模型
    Qwen3-235B-A22B-Instruct-2507、gpt-oss-120b、Llama-4-Scout-17B-16E-Instruct 等 5 个
    摘要DEFER 把确定性检查放在 judge 之前。

    DEFER 用来测量多智能体授权流水线里，确定性规则在何处结束、LLM judge 从何处开始。

    深度解读完整解读
  3. 攻击arXiv 2610.04589

    StegoMemory 红队测试：智能体持久记忆可被用作跨会话隐蔽信道

    提出 StegoMemory，评测智能体持久记忆作为跨会话隐写信道

    arXiv
    2610.04589
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Llama 3.1 405B、Claude 3.5 Sonnet、GPT-4o 等 13 个

    摘要研究揭示智能体持久记忆可作为隐蔽信道跨会话传输机密，写入持久化是主要防御瓶颈，呼吁建立记忆完整性防御。

    深度解读完整解读
  6. 防御arXiv 2609.38909

    Purdue 提出 Pact：将欺骗作为行为遗忘

    提出 PACT，遗忘推理模型在压力下的欺骗行为并保留上下文理解

    arXiv
    2609.38909
    发表
    层
    训练与数据层
    场景
    模型与 API
    攻击者
    白盒
    被测模型
    DeepSeek-R1-Distill-Qwen-32B、QwQ-32B

    摘要论文将大模型欺骗形式化为上下文条件行为，提出 PACT 框架在消除欺骗的同时保留了上下文遵循能力。

    深度解读完整解读
  9. 防御arXiv 2609.36562

    ThinkingGuard：通过逐步风险归因解码多模态大语言模型中的隐式危害

    构建 TriggerBench 并训练 ThinkingGuard，检测图文隐式风险

    arXiv
    2609.36562
    发表
    层
    提示层
    场景
    模型与 API
    被测模型
    ThinkingGuard（Qwen3-VL-8B-Instruct）
    摘要TriggerBench 隔离触发条件，ThinkingGuard 用分步归因在隐式风险检测上取得作者报告的较高平均分。

    这篇工作研究多模态隐式风险检测：图文各自良性，风险只在关键元素与触发元素交互时出现。

    深度解读完整解读
  10. 攻击arXiv 2609.35699

    论文：蒸馏防御在蒸馏后强化学习下易被攻破

    提出用 API 推理摘要重建轨迹再蒸馏加强化学习，攻破蒸馏防御

    arXiv
    2609.35699
    发表
    层
    训练与数据层
    场景
    模型与 API
    攻击者
    黑盒
    被测模型
    Qwen2.5-0.5B、Qwen2.5-1.5B、Qwen2.5-3B 等 12 个
    摘要更现实的蒸馏攻击是蒸馏后再 RL。

    这篇工作修订蒸馏攻击的威胁模型：攻击者经合法 API 收集闭源推理数据，先蒸馏自有模型，再做强化学习。作者认为只在蒸馏后评估防御，会漏掉后续 RL，从而高估防御。

    深度解读完整解读
  11. 防御arXiv 2609.35659

    Tracekit：面向自主编码 Agent 的防篡改意图-推理-动作审计系统

    提出 Tracekit，审计编码 Agent 的意图、推理与动作并检测账本篡改

    arXiv
    2609.35659
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    Claude Code (claude -p, version 2.1)、独立评审（同一 CLI，无工具）
    摘要Tracekit 把意图、自述和动作写入可锚定的哈希链。

    Tracekit 是无第三方依赖的编码智能体审计层：把人类请求、模型自述和已执行动作并排写入可外部锚定的哈希链，执行前用正则门，事后用规则和独立模型互查。

    深度解读完整解读
  17. 可解释性arXiv 2609.23587

    大型推理模型的效率与安全困境：量化与剪枝如何影响越狱鲁棒性

    分析量化、剪枝与 KV 缓存压缩对推理模型越狱鲁棒性的影响

    arXiv
    2609.23587
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    QwQ-32B、DeepSeek-R1-Distill-Qwen-32B、DeepSeek-R1-Distill-Llama-8B
    摘要效率压缩常使 LRM 越狱 HR 下降，作者将其归因于推理退化而非对齐增强。

    作者分析量化、剪枝和 KV 缓存压缩如何同时改变 LRM 的显存、推理和越狱脆弱性。。

    深度解读完整解读
加载更多