跳到正文
10月10日 · 周六

全部论文

找到 238 篇
筛选3

攻击类型

越狱53提示注入66投毒与后门32模型篡改9检测规避18恶意使用7

攻击技术

针对防御3

模型自身风险

欺骗与谋划3奖励作弊3失准与价值偏离14Agent 危险操作23拒答失当19幻觉与编造13偏见与歧视3

防御类型

模型加固70推理时干预31检测与过滤47指令与数据隔离37权限与审批41监控与审计30水印与溯源5

影响

有害内容80越权操作80数据与隐私泄露39输出被操纵78可用性与可靠性14监督失效34

系统形态

模型与 API115LLM 应用21AI Agent104coding agent11science agent5web agent4网页与电脑操作7多智能体11具身与机器人4

攻击者权限

黑盒23白盒18

攻击面/入口

用户输入72网页与界面27文档与消息23工具返回41工具与技能描述14代码仓库与依赖3检索语料8记忆写入6Agent 间消息7图像与音视频19训练数据21权重与梯度9分发渠道11推理服务与硬件3

层

提示层18模型层49应用层115训练与数据层55

系统组件

MCP 与技能17记忆12RAG6护栏与评审31监控器27推理链8权限与沙箱38微调与开源权重17视觉25音频5图像生成8多模态36
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 194 篇还没打标签，不在筛选结果里。
影响：有害内容影响：越权操作影响：输出被操纵清除全部

另有 194 篇论文还没打上分类标签，暂不在筛选结果里。

  3. 防御arXiv 2610.11634

    LTBD：用可学习信任边界分隔符防御提示注入

    提出 LTBD，用可学习分隔符隔离可信指令与不可信数据

    arXiv
    2610.11634
    发表
    层
    应用层
    场景
    LLM 应用
    被测模型
    Llama3-8B-Instruct、Llama3.1-8B-Instruct、Falcon3-7B-Instruct 等 4 个
    摘要LTBD 只训练四个分隔符嵌入。

    LTBD 是一种不改基座权重的提示注入防御：只学习用来标出可信指令与不可信数据边界的四个 token 嵌入。

    深度解读完整解读
  4. 防御arXiv 2610.11005

    研究：叙事包装可跨语言绕过 LLM 拒答

    提出 GUISE 基准与 AXIS 训练，防御叙事包装越狱

    arXiv
    2610.11005
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    Qwen3-1.7B、Qwen3-4B、GLM-4-9B
    摘要GUISE 分开测包装与语域。

    作者测量叙事包装下的拒答失效，并训练一个在未见包装上拒绝、同时仍回答同风格良性请求的适配器。问题是：安全对齐模型拒绝直说的有害请求，却回答嵌进角色或叙事里的同一请求。文言文被用来把语域和包装拆开。

    深度解读完整解读
  5. 防御arXiv 2610.10345

    SLDR：通过选择性层恢复与动态路由防御恶意微调

    提出 SLDR，用选择性层恢复与动态路由防御恶意微调

    arXiv
    2610.10345
    发表
    层
    训练与数据层
    场景
    模型与 API
    攻击者
    黑盒
    被测模型
    Llama3.1-8B-Instruct、Llama3-8B-Instruct、Qwen2.5-7B-Instruct 等 4 个
    摘要作者称 SLDR 能压低有害输出并保持下游效用。

    SLDR 是针对恶意微调的微调后防御：在已对齐模型上做有符号层探测，只在敏感分数最大与最小的两层训练 LoRA，再用 lmax 的最后 token 表示决定是否启用适配器。

    深度解读完整解读
  6. 防御arXiv 2610.09941

    OrthoPurify 用一步正交投影净化被后门污染的视觉语言模型

    提出 OrthoPurify，用正交投影清除视觉语言模型适配器中的劫持方向

    arXiv
    2610.09941
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    LLaVA-1.5-7B、Qwen3-VL-8B、LLaVA-1.5-13B 等 5 个
    摘要一次投影去掉劫持方向。

    OrthoPurify 是部署前的 LVLM 后门净化方法，用一次正交投影去掉被劫持的权重更新方向。

    深度解读完整解读
  9. 防御arXiv 2610.09793

    用时序逻辑监控工具 Agent

    提出 MFOTL 离线时序验证以监控工具 Agent 的危险动作链

    arXiv
    2610.09793
    发表
    层
    应用层
    场景
    AI Agent
    攻击者
    黑盒
    摘要形式化验证可有效识别多步攻击，但其有效性高度依赖轨迹的可信历史记录。

    这篇论文对工具调用大语言模型智能体的安全监控进行了形式化时序验证研究。

    深度解读完整解读
  10. 防御arXiv 2610.09703

    研究揭示 Token-Pruning 对 VLM 安全性的影响并提出 SAP 缓解机制

    提出 Safety-Aware Pruning，缓解视觉 token 剪枝放大的多模态越狱

    arXiv
    2610.09703
    发表
    层
    模型层
    场景
    模型与 API
    攻击者
    黑盒
    被测模型
    LLaVA-1.5-7B
    摘要剪枝去掉背景 token 后注意力塌向恶意前景。

    这篇工作评估视觉 token 剪枝如何改变 VLM 在多模态越狱下的行为，并给出推理时防御 SAP。

    深度解读完整解读
  11. 防御arXiv 2610.09600

    SafeEvo：从拒答回路视角解释大模型安全对齐机制与演化

    用 SafeEvo 提取拒绝电路，并提出 SCA 仅微调该电路

    arXiv
    2610.09600
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    Llama-3-8B、Qwen-2.5-7B、Mistral-7B-v0.1 等 4 个

    摘要SafeEvo 识别出基座模型中存在的弱安全电路及其演化动态，据此提出的 SCA 算法实现了安全对齐、能力保留与低过度拒绝的平衡。

    深度解读完整解读
  12. 防御arXiv 2610.10612

    PyCache Trap 利用 Python 缓存替换绕过七款 Agent Skill 扫描器

    提出 PyCache Trap，用字节码缓存替换绕过 Agent 技能扫描器

    arXiv
    2610.10612
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    CISCO、HSS、AUDITOR 等 8 个
    摘要论文剖析智能体技能审查与执行脱节盲区，提出 PyCache Trap 攻击并构建基于可信复现的 EAV 防御。

    这篇论文研究了智能体技能（Agent Skills）安全扫描中的“审查–执行脱节”问题，并提出了对应的攻击验证与防御方案。

    深度解读完整解读
  14. 防御arXiv 2610.09469

    Secure-CUA：约束计算机使用智能体中不可信内容的影响

    提出 Secure-CUA，用动作事务约束计算机使用智能体的不可信影响

    arXiv
    2610.09469
    发表
    层
    应用层
    场景
    web agent
    被测模型
    Claude Opus 5、Gemini 3.8 Flash、GPT-5.6-Sol
    摘要Secure-CUA 用每步事务约束不可信影响，良性 TSR 接近 Vanilla-CUA。

    Secure-CUA 要限制图形界面里不可信内容对 CUA 决策和 GUI 执行的影响，同时保留合法任务所需的不可信信息。

    深度解读完整解读
  15. 防御arXiv 2610.09043

    CARE：安全高效的人机协作决策框架

    提出 CARE 框架，在误分类风险约束下减少人机协作的人工查询

    arXiv
    2610.09043
    发表
    层
    应用层
    场景
    LLM 应用
    被测模型
    Qwen3-VL-2B-Instruct、Perspective、Moderation 等 9 个
    摘要CARE 以残差校正加逐步校准做人机决策，四个任务上少查询并控制集成风险。

    CARE 是面向人机协同二分类的端到端流水线，要在误分类风险不超过用户容忍的前提下减少人类查询。设定是 i.i.d.数据流、人类 oracle 标签正确、AI 为任意黑盒概率分类器。

    深度解读完整解读
  16. 防御arXiv 2610.08678

    研究揭示投机解码的安全代价并提出 SecureSD 加固方法

    测量有损投机解码的安全代价，并提出 SecureSD 收紧早期验证

    arXiv
    2610.08678
    发表
    层
    模型层
    场景
    AI Agent
    攻击者
    黑盒
    被测模型
    Qwen3-8B、Qwen3-32B、Llama-3.1-8B-Instruct 等 6 个
    摘要有损推测解码的早期偏离更快抬高越狱与注入风险。

    作者研究有损推测解码在换取速度时，是否会比效用更快地损害越狱与提示注入防护，并给出按位置校正的 SecureSD。

    深度解读完整解读
  17. 防御arXiv 2610.08082

    POLAR：面向小型工具调用智能体的可逆性护栏框架

    提出 POLAR 本体门控，在执行前否决不可逆工具调用

    arXiv
    2610.08082
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    qwen/qwen3-8b、meta-llama/llama-3.1-8b-instruct、nvidia/nemotron-nano-9b-v2 等 6 个
    摘要训练无关的事前可逆性门控，弱 airline 模型有收益，强模型与 retail 常回落。

    POLAR 是训练无关的事前门控，用类型化本体在工具调用执行前检查能否组成候选逆序列。

    深度解读完整解读
  19. 防御arXiv 2610.07935

    SIGMA：让模型依据 Model Spec 自我改进安全对齐

    提出 SIGMA，让模型依据 Model Spec 自造对齐数据并改进安全对齐

    arXiv
    2610.07935
    发表
    层
    训练与数据层
    场景
    AI Agent
    被测模型
    Qwen3.6-27B
    摘要SIGMA 用 Model Spec 自造监督，单轮训练可迁到多项智能体安全指标。

    SIGMA 让 Qwen3.6-27B 只凭 Model Spec 和高层领域，自己生产对齐任务、评分细则和奖励。

    深度解读完整解读
  20. 防御arXiv 2610.07774

    研究者提出读取路由 logits 的 MoE 视觉语言模型多模态安全检测器

    AI 导读研究者提出一种轻量级路由 logits 安全检测器，在提示词预填充阶段读取 MoE 视觉语言模型的专家路由信号，在生成前判断多模态请求是否安全，且不修改模型参数或专家路由。

    arXiv
    2610.07774
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    Qwen3-VL-30B-A3B-Instruct、Kimi-VL-A3B-Instruct
    摘要读出而非操纵 router logits，可在不改模型的情况下降低两模型的组合式安全错误。

    作者在两个指令微调 MoE VLM 上比较改模型与读路由。组合式风险按 HoliSafe 分成五类：图文各自可安全，合在一起才不安全，或不安全内容只在图像里。

    深度解读完整解读
加载更多