跳到正文
10月10日 · 周六

全部论文

找到 214 篇
筛选6

攻击类型

越狱119提示注入32投毒与后门13模型篡改3提取与窃取33检测规避18拒绝服务3恶意使用11

攻击技术

梯度与表征优化12自动化搜索29多轮渐进11编码与混淆17角色扮演与说服11对话结构操控5推理链操控8跨模态载荷10针对防御11潜伏触发8

模型自身风险

欺骗与谋划3失准与价值偏离4拒答失当7

防御类型

模型加固29推理时干预15检测与过滤17指令与数据隔离6权限与审批3监控与审计11水印与溯源8

影响

有害内容111越权操作18数据与隐私泄露37输出被操纵23可用性与可靠性5监督失效6

系统形态

模型与 API178LLM 应用37AI Agent137coding agent23web agent13网页与电脑操作8多智能体10

攻击者权限

黑盒66灰盒5白盒20

攻击面/入口

用户输入190网页与界面15文档与消息12工具返回12工具与技能描述24代码仓库与依赖15记忆写入5图像与音视频58训练数据56权重与梯度47分发渠道28推理服务与硬件10

层

提示层89模型层58应用层33训练与数据层28基础设施层6

系统组件

MCP 与技能5记忆3RAG3护栏与评审35监控器15推理链18权限与沙箱4微调与开源权重8视觉18音频3图像生成15多模态37
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 257 篇还没打标签，不在筛选结果里。
系统形态：模型与 API系统形态：coding agent系统形态：web agent攻击面/入口：用户输入攻击面/入口：网页与界面攻击面/入口：文档与消息清除全部

另有 257 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 可解释性arXiv 2610.12361

    研究：法律推理模型引用法条不等于依据法条

    用依据置换与隐层追踪审计法律思维链是否真正依赖所引法条

    arXiv
    2610.12361
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    Qwen3-8B、Qwen3-14B、Llama-3.1-8B 等 7 个
    摘要作者通过依据置换反事实与内部承诺追踪发现法律 CoT 裁决对依据依赖度有限，且易受提示注入操纵。

    本研究针对法律领域大语言模型思维链推理中引用法律依据的因果真实性展开实证审计。

    深度解读完整解读
  2. 评测与基准arXiv 2610.11766

    研究提出意图恢复率作为 LLM 安全评测的补充指标

    提出 IRIS，用意图恢复率区分遮蔽越狱下无害输出的原因

    arXiv
    2610.11766
    发表
    层
    提示层
    场景
    模型与 API
    被测模型
    GPT-4o、Claude Sonnet 4.5、Claude Opus 4.5 等 6 个
    摘要无害输出的证据权重取决于任务是否被恢复。

    IRIS 把意图恢复当作中间信号，用来解释意图遮蔽提示下为何没有出现有害协助。

    深度解读完整解读
  3. 评测与基准arXiv 2610.11112

    EpiReal-Bench：商用图像生成模型虚假声明红队基准

    构建 EpiReal-Bench，评测图像生成器将虚假主张渲染为可信证据

    arXiv
    2610.11112
    发表
    层
    提示层
    场景
    模型与 API
    攻击者
    黑盒
    被测模型
    GPT-Image-2、Nano Banana 2、Grok Imagen 2.0 等 4 个
    摘要四款商用图像模型能把假主张画成可信证据。

    EpiReal-Bench 用来量商用图像生成器会不会把虚假现实主张画成可信视觉证据。

    深度解读完整解读
  4. 防御arXiv 2610.11005

    研究：叙事包装可跨语言绕过 LLM 拒答

    提出 GUISE 基准与 AXIS 训练，防御叙事包装越狱

    arXiv
    2610.11005
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    Qwen3-1.7B、Qwen3-4B、GLM-4-9B
    摘要GUISE 分开测包装与语域。

    作者测量叙事包装下的拒答失效，并训练一个在未见包装上拒绝、同时仍回答同风格良性请求的适配器。问题是：安全对齐模型拒绝直说的有害请求，却回答嵌进角色或叙事里的同一请求。文言文被用来把语域和包装拆开。

    深度解读完整解读
  6. 评测与基准arXiv 2610.10276

    PatchBench 提出激活补丁局部评测协议，揭示越狱修复的附带损伤

    提出 PatchBench-Local 协议，评测激活补丁修复越狱的局部附带损伤

    arXiv
    2610.10276
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    Qwen2.5-3B-Instruct、Qwen2.5-14B-Instruct、gemma-3-4b-it 等 8 个

    摘要论文提出 PatchBench 与局部评估协议，揭示了激活补丁在全局能力无损下仍存局部良性退化。

    深度解读完整解读
  8. 防御arXiv 2610.09703

    研究揭示 Token-Pruning 对 VLM 安全性的影响并提出 SAP 缓解机制

    提出 Safety-Aware Pruning，缓解视觉 token 剪枝放大的多模态越狱

    arXiv
    2610.09703
    发表
    层
    模型层
    场景
    模型与 API
    攻击者
    黑盒
    被测模型
    LLaVA-1.5-7B
    摘要剪枝去掉背景 token 后注意力塌向恶意前景。

    这篇工作评估视觉 token 剪枝如何改变 VLM 在多模态越狱下的行为，并给出推理时防御 SAP。

    深度解读完整解读
  9. 防御arXiv 2610.09469

    Secure-CUA：约束计算机使用智能体中不可信内容的影响

    提出 Secure-CUA，用动作事务约束计算机使用智能体的不可信影响

    arXiv
    2610.09469
    发表
    层
    应用层
    场景
    web agent
    被测模型
    Claude Opus 5、Gemini 3.8 Flash、GPT-5.6-Sol
    摘要Secure-CUA 用每步事务约束不可信影响，良性 TSR 接近 Vanilla-CUA。

    Secure-CUA 要限制图形界面里不可信内容对 CUA 决策和 GUI 执行的影响，同时保留合法任务所需的不可信信息。

    深度解读完整解读
  10. 攻击arXiv 2610.09240

    WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作

    提出 WebMirage，用局部对抗图像劫持视觉网页 Agent 的浏览器操作

    arXiv
    2610.09240
    发表
    层
    应用层
    场景
    web agent
    被测模型
    LLaVA-v1.5-13B、LLaVA-v1.6-34B、MiniCPM-o-8B 等 6 个
    摘要论文提出了针对网络智能体的端到端视觉红队框架 WebMirage，揭示了从视觉定位到浏览器执行的安全脆弱性。

    WebMirage 是一个面向视觉定位网络智能体的流水线感知端到端红队攻击框架。

    深度解读完整解读
  11. 评测与基准arXiv 2610.09033

    研究发布 ASRD 数据集，评测五款开源模型在非规范输入下的安全表现

    arXiv
    2610.09033
    发表
    层
    提示层
    场景
    模型与 API
    被测模型
    Gemma 2 9B、Gemma 3 4B、Llama 3.1 8B 等 6 个
    摘要五模型、七族表面形式的四态评测里，低有害遵从不等于读懂后的安全处理。

    ASRD 用四态标签检查五个开源模型如何处理非规范表面上的有害请求。

    深度解读完整解读
  12. 攻击arXiv 2610.09027

    P-VMI：对抗图像经 KV cache 持续影响多轮对话

    提出持久视觉记忆注入，使对抗图像经缓存在触发时操控输出

    arXiv
    2610.09027
    发表
    层
    基础设施层
    场景
    模型与 API
    被测模型
    Qwen3-8B、Qwen3-VL-8B-Instruct、Gemma-4-12B

    摘要论文提出 P-VMI，证实对抗输入被掩蔽后仍可经 KV 缓存持久控制模型，强调了保留状态的安全风险。

    深度解读完整解读
  14. 防御arXiv 2610.08316

    MARCO：面向蛋白质生成模型的放射性水印框架

    提出 MARCO 放射性水印，冻结蛋白质生成模型并在去噪时嵌入签名

    arXiv
    2610.08316
    发表
    层
    模型层
    场景
    模型与 API
    攻击者
    黑盒
    被测模型
    RFdiffusion、ESMFold、Chroma 等 6 个
    摘要MARCO 在冻结的 PGM 上去噪时嵌构象水印，作者称能兼顾保真与抗扰动，并使盗版模型继承水印。

    MARCO 是加在蛋白质生成模型推理过程上的构象水印，用来标记知识产权，并为可能的生物安全滥用保留可追溯信号。作者还把它说成数字权利管理工具，以及符合生物武器公约的数字监管链。问题在于：专有 PGM 的三维输出可能被拿去训练盗版模型，也可能在来源被抹掉后绕过筛查。

    深度解读完整解读
  16. 攻击arXiv 2610.07723

    研究者提出答案侧后门：让模型自生成触发词绕过安全拒答

    提出回答端后门，让模型自生成触发词以在干净有害请求下绕过拒答

    arXiv
    2610.07723
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    Llama-2-7B-chat-hf、Mistral-7B-Instruct-v0.3、Gemma-7B-it 等 4 个

    摘要论文提出了多轮对话中回答端自生成触发词绕过安全拒绝的后门攻击，指出输入端防护存在盲区。

    深度解读完整解读
  17. 防御arXiv 2610.07532

    LADE：用暗知识中的模型无关潜在安全信号防御 LLM 越狱

    提出 LADE，用首 token 暗知识在生成前过滤越狱查询

    arXiv
    2610.07532
    发表
    层
    提示层
    场景
    模型与 API
    攻击者
    白盒
    被测模型
    Llama-2-7B-Chat、Llama-3-8B-Instruct、Qwen2-7B-Instruct 等 13 个
    摘要作者用 LADE 在生成前过滤有害查询，并称八个模型中六个的 Held-out 平均最好。

    LADE 是一种只读首 token 输出概率的防御，用来在生成前挡下可能引出有害回复的查询。

    深度解读完整解读
  18. 攻击arXiv 2610.06670

    研究者提出 Reward Stealing Attack，从对齐模型行为反推安全奖励实施攻击

    提出 ReSA，从对齐模型行为恢复安全奖励并在解码时反转

    arXiv
    2610.06670
    发表
    层
    模型层
    场景
    模型与 API
    攻击者
    白盒、灰盒
    被测模型
    Llama3.1-8B-Instruct、Gemma-7B-Instruct、Qwen2.5-7B-Instruct 等 9 个
    摘要ReSA 用最大熵 IRL 从对齐模型行为恢复代理安全奖励，并在解码时反转以诱导有害输出。

    ReSA 是一种对抗攻击：从对齐模型的可观察行为恢复代理安全奖励，再在解码时把该奖励反过来用。。

    深度解读完整解读
  20. 攻击arXiv 2610.06093

    研究评测训练数据提取风险的跨语言迁移

    用翻译前缀做跨语言训练数据提取，恢复英语训练文本中的 PII

    arXiv
    2610.06093
    发表
    层
    提示层
    场景
    模型与 API
    被测模型
    GPT-Neo 1.3B、GPT-Neo 2.7B、GPT-J 6B 等 7 个
    摘要跨语言 TDE 能恢复英语记忆的 PII，转移随多语训练和措辞保真变化。

    这篇工作检验训练数据抽取是否跨语言：英语段落里记住的 PII，能否被其他语言的前缀逐字抽出。

    深度解读完整解读
加载更多