跳到正文
10月12日 · 周一

全部论文

找到 442篇
筛选2

攻击类型

越狱216提示注入37投毒与后门21模型篡改27提取与窃取72检测规避9恶意使用13

攻击技术

梯度与表征优化25自动化搜索58多轮渐进24编码与混淆41角色扮演与说服18对话结构操控11推理链操控8跨模态载荷33侧信道4针对防御14潜伏触发15诱导选用3

模型自身风险

欺骗与谋划5失准与价值偏离13Agent 危险操作9危险能力3拒答失当48幻觉与编造3偏见与歧视5

防御类型

模型加固55推理时干预26检测与过滤26指令与数据隔离17权限与审批10监控与审计15

影响

有害内容309越权操作215数据与隐私泄露133输出被操纵334可用性与可靠性90监督失效124滥用能力提升18

系统形态

模型与 API335LLM 应用23AI Agent84coding agent20science agent4web agent7多智能体14

攻击者权限

黑盒127灰盒9白盒43无盒（离线迁移）3

攻击面/入口

用户输入273网页与界面6文档与消息9工具返回16工具与技能描述13代码仓库与依赖5检索语料3记忆写入11Agent 间消息8图像与音视频56训练数据27权重与梯度37分发渠道10推理服务与硬件8

层

提示层164模型层105应用层97训练与数据层68基础设施层8

系统组件

MCP 与技能16记忆14RAG13护栏与评审61监控器19推理链22权限与沙箱11微调与开源权重34视觉47音频15视频3图像生成29嵌入5多模态88
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 265篇还没打标签，不在筛选结果里。
影响：有害内容影响：数据与隐私泄露清除全部

另有265篇论文还没打上分类标签，暂不在筛选结果里。

  2. 防御arXiv 2610.13333

    LETHE：通过价值多样性坍缩防御未授权的图像到视频生成

    提出 LETHE，扰动参考图以阻止未授权图生视频

    arXiv
    2610.13333
    发表
    层
    提示层
    场景
    模型与 API
    被测模型
    Wan2.1-I2V-14B、CogVideoX-5B-I2V、LightX2V 等6个
    摘要LETHE 压低参考 value 多样性并吸引注意力，使受保护图难以被忠实动画化。

    LETHE 是一种发布前加到个人图像上的保护扰动，用来对付未经同意的图生视频。

    深度解读完整解读
  3. 可解释性arXiv 2610.13078

    注意力看见，MLP 拒绝：追踪 LLM 中从注意力到 MLP 的安全路径

    追踪注意力识别有害性到 MLP 拒绝写入的通路并提出 Sentinel

    arXiv
    2610.13078
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    Llama-3.1-8B-Instruct、Qwen2.5-7B-Instruct、Qwen3-8B-Instruct 等18个
    摘要注意力更新更易读出有害性，MLP 更新写入拒绝，Sentinel 用两路信号路由提醒。

    作者把对齐模型的越狱和过度拒绝，改写成残差流上从识别到写入的通路问题，并据此做解码前的条件提醒。

    深度解读完整解读
  5. 评测与基准arXiv 2610.11773

    研究提出 Agent 安全新维度：识别未履行的安全义务

    提出义务识别基准 ObligationBench，并训练护栏识别 Agent 未履行的安全义务

    arXiv
    2610.11773
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    ObligationGuard、Claude-Opus-4.8、GPT-5.6-Sol 等17个
    摘要义务是护栏缺口。

    作者认为编码智能体的安全不能只靠拦截禁止动作，还要找出终止时仍未做的安全关键动作，并将其称为义务。

    深度解读完整解读
  6. 评测与基准arXiv 2610.11766

    研究提出意图恢复率作为 LLM 安全评测的补充指标

    提出 IRIS，用意图恢复率区分遮蔽越狱下无害输出的原因

    arXiv
    2610.11766
    发表
    层
    提示层
    场景
    模型与 API
    被测模型
    GPT-4o、Claude Sonnet 4.5、Claude Opus 4.5 等6个
    摘要无害输出的证据权重取决于任务是否被恢复。

    IRIS 把意图恢复当作中间信号，用来解释意图遮蔽提示下为何没有出现有害协助。

    深度解读完整解读
  7. 攻击arXiv 2610.12524

    对 AI Agent 系统攻击的探索

    重测并扩展对 AI Agent 的提示注入，并用 Agent Card 欺骗操纵 A2A 选择

    arXiv
    2610.12524
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Ollama Mistral 0.9.5、llama3-8b-8192、gemini-2.0-flash-lite 等5个
    摘要单智能体过滤与分类可被格式或措辞绕过，A2A 选卡还会偏向名称和描述。

    作者在自建的 LangChain、AutoGen 和 A2A 系统上重测提示注入，并改 Agent Card 看选择是否偏移。摘要称试验主要凸显单智能体弱点，同时把攻击扩到多智能体。

    深度解读完整解读
  8. 防御arXiv 2610.11005

    研究：叙事包装可跨语言绕过 LLM 拒答

    提出 GUISE 基准与 AXIS 训练，防御叙事包装越狱

    arXiv
    2610.11005
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    Qwen3-1.7B、Qwen3-4B、GLM-4-9B
    摘要GUISE 分开测包装与语域。

    作者测量叙事包装下的拒答失效，并训练一个在未见包装上拒绝、同时仍回答同风格良性请求的适配器。问题是：安全对齐模型拒绝直说的有害请求，却回答嵌进角色或叙事里的同一请求。文言文被用来把语域和包装拆开。

    深度解读完整解读
  11. 防御arXiv 2610.10345

    SLDR：通过选择性层恢复与动态路由防御恶意微调

    提出 SLDR，用选择性层恢复与动态路由防御恶意微调

    arXiv
    2610.10345
    发表
    层
    训练与数据层
    场景
    模型与 API
    攻击者
    黑盒
    被测模型
    Llama3.1-8B-Instruct、Llama3-8B-Instruct、Qwen2.5-7B-Instruct 等4个
    摘要作者称 SLDR 能压低有害输出并保持下游效用。

    SLDR 是针对恶意微调的微调后防御：在已对齐模型上做有符号层探测，只在敏感分数最大与最小的两层训练 LoRA，再用 lmax 的最后 token 表示决定是否启用适配器。

    深度解读完整解读
  12. 攻击arXiv 2610.09981

    研究：LLM 路由决策日志可推断用户医疗、自伤等敏感话题

    提出利用路由元数据推断敏感话题的侧信道攻击

    arXiv
    2610.09981
    发表
    层
    基础设施层
    场景
    LLM 应用
    被测模型
    RouteLLM (BERT router)、notdiamond-0001、Vela (vLLM Semantic Router)

    摘要论文揭示并测量了 LLM 路由决策在无文本日志中的敏感话题泄露，验证了按类别公平性防御的有效性与边界。

    深度解读完整解读
  16. 防御arXiv 2610.09703

    研究揭示 Token-Pruning 对 VLM 安全性的影响并提出 SAP 缓解机制

    提出 Safety-Aware Pruning，缓解视觉 token 剪枝放大的多模态越狱

    arXiv
    2610.09703
    发表
    层
    模型层
    场景
    模型与 API
    攻击者
    黑盒
    被测模型
    LLaVA-1.5-7B
    摘要剪枝去掉背景 token 后注意力塌向恶意前景。

    这篇工作评估视觉 token 剪枝如何改变 VLM 在多模态越狱下的行为，并给出推理时防御 SAP。

    深度解读完整解读
  17. 防御arXiv 2610.09600

    SafeEvo：从拒答回路视角解释大模型安全对齐机制与演化

    用 SafeEvo 提取拒绝电路，并提出 SCA 仅微调该电路

    arXiv
    2610.09600
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    Llama-3-8B、Qwen-2.5-7B、Mistral-7B-v0.1 等4个

    摘要SafeEvo 识别出基座模型中存在的弱安全电路及其演化动态，据此提出的 SCA 算法实现了安全对齐、能力保留与低过度拒绝的平衡。

    深度解读完整解读
  18. 防御arXiv 2610.09167

    Persist-3 用顺序检验识别未见越狱来源，提升 MTK 与 Prompt Guard 2 防御效果

    提出 Persist-3 序贯检验，从隐藏表示识别未见越狱源

    arXiv
    2610.09167
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    Llama2-7B-chat、Qwen2.5-7B-Instruct、Gemma-2-9B-it 等4个
    摘要Persist-3 用有限窗口检验攻击流是否超出已知越狱源，检出率低于全历史 SR-DKW，但决策只依赖最近观测。

    Persist-3 是一个有限记忆的序贯检测器，用来判断攻击表示流是否已经不能由任何一个已知越狱源解释。。

    深度解读完整解读
  19. 评测与基准arXiv 2610.09033

    研究发布 ASRD 数据集，评测五款开源模型在非规范输入下的安全表现

    arXiv
    2610.09033
    发表
    层
    提示层
    场景
    模型与 API
    被测模型
    Gemma 2 9B、Gemma 3 4B、Llama 3.1 8B 等6个
    摘要五模型、七族表面形式的四态评测里，低有害遵从不等于读懂后的安全处理。

    ASRD 用四态标签检查五个开源模型如何处理非规范表面上的有害请求。

    深度解读完整解读
加载更多