跳到正文
10月10日 · 周六

全部论文

论文 261 篇
筛选

攻击类型

越狱42提示注入68投毒与后门35模型篡改8提取与窃取13检测规避15恶意使用10

模型自身风险

失准与价值偏离4Agent 危险操作21拒答失当10幻觉与编造6

防御类型

模型加固50推理时干预21检测与过滤36指令与数据隔离35权限与审批42监控与审计24水印与溯源12

影响

有害内容50越权操作62数据与隐私泄露27输出被操纵46可用性与可靠性6监督失效4

系统形态

模型与 API106LLM 应用12AI Agent109coding agent14science agent4web agent6网页与电脑操作7多智能体15具身与机器人4

攻击者权限

黑盒17白盒16

攻击面/入口

用户输入69网页与界面27文档与消息23工具返回38工具与技能描述16代码仓库与依赖3检索语料8记忆写入8Agent 间消息11图像与音视频19训练数据23权重与梯度13分发渠道11推理服务与硬件3

层

提示层16模型层44应用层118训练与数据层46基础设施层3

系统组件

MCP 与技能21记忆14RAG5护栏与评审22监控器20推理链5权限与沙箱46微调与开源权重16视觉22音频9图像生成8多模态37
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 34 篇还没打标签，不在筛选结果里。
分类：防御清除全部
  2. 防御arXiv 2610.11634

    LTBD：用可学习信任边界分隔符防御提示注入

    提出 LTBD，用可学习分隔符隔离可信指令与不可信数据

    arXiv
    2610.11634
    发表
    层
    应用层
    场景
    LLM 应用
    被测模型
    Llama3-8B-Instruct、Llama3.1-8B-Instruct、Falcon3-7B-Instruct 等 4 个
    摘要LTBD 只训练四个分隔符嵌入。

    LTBD 是一种不改基座权重的提示注入防御：只学习用来标出可信指令与不可信数据边界的四个 token 嵌入。

    深度解读完整解读
  4. 防御arXiv 2610.10345

    SLDR：通过选择性层恢复与动态路由防御恶意微调

    提出 SLDR，用选择性层恢复与动态路由防御恶意微调

    arXiv
    2610.10345
    发表
    层
    训练与数据层
    场景
    模型与 API
    攻击者
    黑盒
    被测模型
    Llama3.1-8B-Instruct、Llama3-8B-Instruct、Qwen2.5-7B-Instruct 等 4 个
    摘要作者称 SLDR 能压低有害输出并保持下游效用。

    SLDR 是针对恶意微调的微调后防御：在已对齐模型上做有符号层探测，只在敏感分数最大与最小的两层训练 LoRA，再用 lmax 的最后 token 表示决定是否启用适配器。

    深度解读完整解读
  5. 防御arXiv 2610.09941

    OrthoPurify 用一步正交投影净化被后门污染的视觉语言模型

    提出 OrthoPurify，用正交投影清除视觉语言模型适配器中的劫持方向

    arXiv
    2610.09941
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    LLaVA-1.5-7B、Qwen3-VL-8B、LLaVA-1.5-13B 等 5 个
    摘要一次投影去掉劫持方向。

    OrthoPurify 是部署前的 LVLM 后门净化方法，用一次正交投影去掉被劫持的权重更新方向。

    深度解读完整解读
  8. 防御arXiv 2610.09469

    Secure-CUA：约束计算机使用智能体中不可信内容的影响

    提出 Secure-CUA，用动作事务约束计算机使用智能体的不可信影响

    arXiv
    2610.09469
    发表
    层
    应用层
    场景
    web agent
    被测模型
    Claude Opus 5、Gemini 3.8 Flash、GPT-5.6-Sol
    摘要Secure-CUA 用每步事务约束不可信影响，良性 TSR 接近 Vanilla-CUA。

    Secure-CUA 要限制图形界面里不可信内容对 CUA 决策和 GUI 执行的影响，同时保留合法任务所需的不可信信息。

    深度解读完整解读
  10. 防御arXiv 2610.08316

    MARCO：面向蛋白质生成模型的放射性水印框架

    提出 MARCO 放射性水印，冻结蛋白质生成模型并在去噪时嵌入签名

    arXiv
    2610.08316
    发表
    层
    模型层
    场景
    模型与 API
    攻击者
    黑盒
    被测模型
    RFdiffusion、ESMFold、Chroma 等 6 个
    摘要MARCO 在冻结的 PGM 上去噪时嵌构象水印，作者称能兼顾保真与抗扰动，并使盗版模型继承水印。

    MARCO 是加在蛋白质生成模型推理过程上的构象水印，用来标记知识产权，并为可能的生物安全滥用保留可追溯信号。作者还把它说成数字权利管理工具，以及符合生物武器公约的数字监管链。问题在于：专有 PGM 的三维输出可能被拿去训练盗版模型，也可能在来源被抹掉后绕过筛查。

    深度解读完整解读
  11. 防御arXiv 2610.08082

    POLAR：面向小型工具调用智能体的可逆性护栏框架

    提出 POLAR 本体门控，在执行前否决不可逆工具调用

    arXiv
    2610.08082
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    qwen/qwen3-8b、meta-llama/llama-3.1-8b-instruct、nvidia/nemotron-nano-9b-v2 等 6 个
    摘要训练无关的事前可逆性门控，弱 airline 模型有收益，强模型与 retail 常回落。

    POLAR 是训练无关的事前门控，用类型化本体在工具调用执行前检查能否组成候选逆序列。

    深度解读完整解读
  13. 防御arXiv 2610.07774

    研究者提出读取路由 logits 的 MoE 视觉语言模型多模态安全检测器

    AI 导读研究者提出一种轻量级路由 logits 安全检测器，在提示词预填充阶段读取 MoE 视觉语言模型的专家路由信号，在生成前判断多模态请求是否安全，且不修改模型参数或专家路由。

    arXiv
    2610.07774
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    Qwen3-VL-30B-A3B-Instruct、Kimi-VL-A3B-Instruct
    摘要读出而非操纵 router logits，可在不改模型的情况下降低两模型的组合式安全错误。

    作者在两个指令微调 MoE VLM 上比较改模型与读路由。组合式风险按 HoliSafe 分成五类：图文各自可安全，合在一起才不安全，或不安全内容只在图像里。

    深度解读完整解读
  14. 防御arXiv 2610.07657

    DEFER1 多智能体防御研究报告受控测试中的攻击成功率下降

    实现 DEFER，以确定性检查优先拦截多智能体流水线的内容攻击

    arXiv
    2610.07657
    发表
    层
    应用层
    场景
    多智能体
    被测模型
    Qwen3-235B-A22B-Instruct-2507、gpt-oss-120b、Llama-4-Scout-17B-16E-Instruct 等 5 个
    摘要DEFER 把确定性检查放在 judge 之前。

    DEFER 用来测量多智能体授权流水线里，确定性规则在何处结束、LLM judge 从何处开始。

    深度解读完整解读
  15. 防御arXiv 2610.07532

    LADE：用暗知识中的模型无关潜在安全信号防御 LLM 越狱

    提出 LADE，用首 token 暗知识在生成前过滤越狱查询

    arXiv
    2610.07532
    发表
    层
    提示层
    场景
    模型与 API
    攻击者
    白盒
    被测模型
    Llama-2-7B-Chat、Llama-3-8B-Instruct、Qwen2-7B-Instruct 等 13 个
    摘要作者用 LADE 在生成前过滤有害查询，并称八个模型中六个的 Held-out 平均最好。

    LADE 是一种只读首 token 输出概率的防御，用来在生成前挡下可能引出有害回复的查询。

    深度解读完整解读
  16. 防御arXiv 2610.07403

    针对 LLM 谄媚的纵深防御：记忆门控对激活诱导与记忆诱导谄媚的评估

    评测记忆门控对激活诱导与记忆诱导谄媚的防御效果

    arXiv
    2610.07403
    发表
    层
    应用层
    场景
    LLM 应用
    被测模型
    Llama-3.1-8B-Instruct、Qwen2.5-7B-Instruct、Mistral-7B-Instruct-v0.3 等 4 个
    摘要作者称外部记忆过滤成立，数据未显示反向转向再有贡献。

    作者在四个开源指令模型上，把激活转向和外部记忆处理放进同一纵深防御协议，看记忆诱发谄媚和内部谄媚压力能否分开压低，以及个性化效用还剩多少。要处理的问题是：检索到的用户历史会推动模型顺从存储信念。只改外部上下文，并不直接动模型内部的谄媚表征。

    深度解读完整解读
  17. 防御arXiv 2610.07258

    AMU：用派生血缘门控实现企业 AI Agent 列级访问控制

    提出 AMU 按推导图门控企业 Agent 共享记忆的列级访问

    arXiv
    2610.07258
    发表
    层
    应用层
    场景
    AI Agent
    摘要在完整血缘下，AMU 按列权限放行缓存，并标出同名 KPI 冲突。

    AMU 用列级推导门控共享记忆，拦截经缓存流出的无权敏感列，并标出同名 KPI 的定义冲突。

    深度解读完整解读
  20. 其他arXiv 2610.06317

    论文提出可审计的文本水印合规方案以落实欧盟 AI 法案第 50 条

    把文本水印证据写成带错误率的三态可审计结论

    arXiv
    2610.06317
    发表
    层
    模型层
    场景
    模型与 API
    摘要把水印合规从普遍检测改成带范围的证据曲线、三态报告和再校准，模拟支持平方修正。

    指定配置下的文本水印被做成可审计测量：记录证据如何衰减，并把检测收成三态，而不是判定人类作者身份。

    深度解读完整解读
加载更多