跳到正文
10月12日 · 周一

全部论文

找到 270篇
筛选4

攻击类型

越狱189提示注入11投毒与后门9模型篡改4提取与窃取29检测规避18恶意使用8

攻击技术

梯度与表征优化17自动化搜索48多轮渐进22编码与混淆44角色扮演与说服23对话结构操控10推理链操控11跨模态载荷28针对防御9

模型自身风险

失准与价值偏离3拒答失当10幻觉与编造3

防御类型

模型加固11推理时干预22检测与过滤20指令与数据隔离6监控与审计8

影响

有害内容183数据与隐私泄露29输出被操纵35可用性与可靠性6监督失效6

系统形态

模型与 API259LLM 应用4AI Agent7coding agent4

攻击者权限

黑盒108灰盒7白盒20

攻击面/入口

用户输入258文档与消息8工具返回3检索语料3图像与音视频94训练数据13权重与梯度31分发渠道5推理服务与硬件5

层

提示层196模型层74应用层126训练与数据层81基础设施层7

系统组件

护栏与评审53监控器9推理链21微调与开源权重10视觉39音频7视频3图像生成21多模态67
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 232篇还没打标签，不在筛选结果里。
攻击面/入口：用户输入攻击面/入口：训练数据层：提示层层：模型层清除全部

另有232篇论文还没打上分类标签，暂不在筛选结果里。

  2. 可解释性arXiv 2610.13078

    注意力看见，MLP 拒绝：追踪 LLM 中从注意力到 MLP 的安全路径

    追踪注意力识别有害性到 MLP 拒绝写入的通路并提出 Sentinel

    arXiv
    2610.13078
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    Llama-3.1-8B-Instruct、Qwen2.5-7B-Instruct、Qwen3-8B-Instruct 等18个
    摘要注意力更新更易读出有害性，MLP 更新写入拒绝，Sentinel 用两路信号路由提醒。

    作者把对齐模型的越狱和过度拒绝，改写成残差流上从识别到写入的通路问题，并据此做解码前的条件提醒。

    深度解读完整解读
  3. 可解释性arXiv 2610.12361

    研究：法律推理模型引用法条不等于依据法条

    用依据置换与隐层追踪审计法律思维链是否真正依赖所引法条

    arXiv
    2610.12361
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    Qwen3-8B、Qwen3-14B、Llama-3.1-8B 等7个
    摘要作者通过依据置换反事实与内部承诺追踪发现法律 CoT 裁决对依据依赖度有限，且易受提示注入操纵。

    本研究针对法律领域大语言模型思维链推理中引用法律依据的因果真实性展开实证审计。

    深度解读完整解读
  4. 评测与基准arXiv 2610.11766

    研究提出意图恢复率作为 LLM 安全评测的补充指标

    提出 IRIS，用意图恢复率区分遮蔽越狱下无害输出的原因

    arXiv
    2610.11766
    发表
    层
    提示层
    场景
    模型与 API
    被测模型
    GPT-4o、Claude Sonnet 4.5、Claude Opus 4.5 等6个
    摘要无害输出的证据权重取决于任务是否被恢复。

    IRIS 把意图恢复当作中间信号，用来解释意图遮蔽提示下为何没有出现有害协助。

    深度解读完整解读
  5. 评测与基准arXiv 2610.11112

    EpiReal-Bench：商用图像生成模型虚假声明红队基准

    构建 EpiReal-Bench，评测图像生成器将虚假主张渲染为可信证据

    arXiv
    2610.11112
    发表
    层
    提示层
    场景
    模型与 API
    攻击者
    黑盒
    被测模型
    GPT-Image-2、Nano Banana 2、Grok Imagen 2.0 等4个
    摘要四款商用图像模型能把假主张画成可信证据。

    EpiReal-Bench 用来量商用图像生成器会不会把虚假现实主张画成可信视觉证据。

    深度解读完整解读
  7. 评测与基准arXiv 2610.10276

    PatchBench 提出激活补丁局部评测协议，揭示越狱修复的附带损伤

    提出 PatchBench-Local 协议，评测激活补丁修复越狱的局部附带损伤

    arXiv
    2610.10276
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    Qwen2.5-3B-Instruct、Qwen2.5-14B-Instruct、gemma-3-4b-it 等8个

    摘要论文提出 PatchBench 与局部评估协议，揭示了激活补丁在全局能力无损下仍存局部良性退化。

    深度解读完整解读
  8. 防御arXiv 2610.09703

    研究揭示 Token-Pruning 对 VLM 安全性的影响并提出 SAP 缓解机制

    提出 Safety-Aware Pruning，缓解视觉 token 剪枝放大的多模态越狱

    arXiv
    2610.09703
    发表
    层
    模型层
    场景
    模型与 API
    攻击者
    黑盒
    被测模型
    LLaVA-1.5-7B
    摘要剪枝去掉背景 token 后注意力塌向恶意前景。

    这篇工作评估视觉 token 剪枝如何改变 VLM 在多模态越狱下的行为，并给出推理时防御 SAP。

    深度解读完整解读
  9. 防御arXiv 2610.09167

    Persist-3 用顺序检验识别未见越狱来源，提升 MTK 与 Prompt Guard 2 防御效果

    提出 Persist-3 序贯检验，从隐藏表示识别未见越狱源

    arXiv
    2610.09167
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    Llama2-7B-chat、Qwen2.5-7B-Instruct、Gemma-2-9B-it 等4个
    摘要Persist-3 用有限窗口检验攻击流是否超出已知越狱源，检出率低于全历史 SR-DKW，但决策只依赖最近观测。

    Persist-3 是一个有限记忆的序贯检测器，用来判断攻击表示流是否已经不能由任何一个已知越狱源解释。。

    深度解读完整解读
  10. 评测与基准arXiv 2610.09033

    研究发布 ASRD 数据集，评测五款开源模型在非规范输入下的安全表现

    arXiv
    2610.09033
    发表
    层
    提示层
    场景
    模型与 API
    被测模型
    Gemma 2 9B、Gemma 3 4B、Llama 3.1 8B 等6个
    摘要五模型、七族表面形式的四态评测里，低有害遵从不等于读懂后的安全处理。

    ASRD 用四态标签检查五个开源模型如何处理非规范表面上的有害请求。

    深度解读完整解读
  11. 防御arXiv 2610.08678

    研究揭示投机解码的安全代价并提出 SecureSD 加固方法

    测量有损投机解码的安全代价，并提出 SecureSD 收紧早期验证

    arXiv
    2610.08678
    发表
    层
    模型层
    场景
    AI Agent
    攻击者
    黑盒
    被测模型
    Qwen3-8B、Qwen3-32B、Llama-3.1-8B-Instruct 等6个
    摘要有损推测解码的早期偏离更快抬高越狱与注入风险。

    作者研究有损推测解码在换取速度时，是否会比效用更快地损害越狱与提示注入防护，并给出按位置校正的 SecureSD。

    深度解读完整解读
  12. 防御arXiv 2610.08316

    MARCO：面向蛋白质生成模型的放射性水印框架

    提出 MARCO 放射性水印，冻结蛋白质生成模型并在去噪时嵌入签名

    arXiv
    2610.08316
    发表
    层
    模型层
    场景
    模型与 API
    攻击者
    黑盒
    被测模型
    RFdiffusion、ESMFold、Chroma 等6个
    摘要MARCO 在冻结的 PGM 上去噪时嵌构象水印，作者称能兼顾保真与抗扰动，并使盗版模型继承水印。

    MARCO 是加在蛋白质生成模型推理过程上的构象水印，用来标记知识产权，并为可能的生物安全滥用保留可追溯信号。作者还把它说成数字权利管理工具，以及符合生物武器公约的数字监管链。问题在于：专有 PGM 的三维输出可能被拿去训练盗版模型，也可能在来源被抹掉后绕过筛查。

    深度解读完整解读
  13. 防御arXiv 2610.07532

    LADE：用暗知识中的模型无关潜在安全信号防御 LLM 越狱

    提出 LADE，用首 token 暗知识在生成前过滤越狱查询

    arXiv
    2610.07532
    发表
    层
    提示层
    场景
    模型与 API
    攻击者
    白盒
    被测模型
    Llama-2-7B-Chat、Llama-3-8B-Instruct、Qwen2-7B-Instruct 等13个
    摘要作者用 LADE 在生成前过滤有害查询，并称八个模型中六个的 Held-out 平均最好。

    LADE 是一种只读首 token 输出概率的防御，用来在生成前挡下可能引出有害回复的查询。

    深度解读完整解读
  14. 攻击arXiv 2610.06670

    研究者提出 Reward Stealing Attack，从对齐模型行为反推安全奖励实施攻击

    提出 ReSA，从对齐模型行为恢复安全奖励并在解码时反转

    arXiv
    2610.06670
    发表
    层
    模型层
    场景
    模型与 API
    攻击者
    白盒、灰盒
    被测模型
    Llama3.1-8B-Instruct、Gemma-7B-Instruct、Qwen2.5-7B-Instruct 等9个
    摘要ReSA 用最大熵 IRL 从对齐模型行为恢复代理安全奖励，并在解码时反转以诱导有害输出。

    ReSA 是一种对抗攻击：从对齐模型的可观察行为恢复代理安全奖励，再在解码时把该奖励反过来用。。

    深度解读完整解读
  16. 攻击arXiv 2610.06093

    研究评测训练数据提取风险的跨语言迁移

    用翻译前缀做跨语言训练数据提取，恢复英语训练文本中的 PII

    arXiv
    2610.06093
    发表
    层
    提示层
    场景
    模型与 API
    被测模型
    GPT-Neo 1.3B、GPT-Neo 2.7B、GPT-J 6B 等7个
    摘要跨语言 TDE 能恢复英语记忆的 PII，转移随多语训练和措辞保真变化。

    这篇工作检验训练数据抽取是否跨语言：英语段落里记住的 PII，能否被其他语言的前缀逐字抽出。

    深度解读完整解读
  17. 防御arXiv 2610.05346

    研究者提出序列马赛克攻击并给出防御理论

    形式化 watchman 防御以阻止序贯马赛克攻击

    arXiv
    2610.05346
    发表
    层
    提示层
    场景
    模型与 API
    被测模型
    Qwen3.6-35B-A3B、Gemma-4-26B-A4B-it、DeepSeek-V2-Lite (16B-A2.4B)
    摘要watchman 理论给出零失败且有用的条件。

    这篇工作同时给出序贯马赛克防御的博弈理论，以及冻结 LLM 上的分角色自博弈训练。

    深度解读完整解读
加载更多