跳到正文
10月9日 · 周五

全部论文

找到 62 篇
筛选7

攻击类型

越狱22提示注入15投毒与后门7模型篡改1提取与窃取16检测规避2恶意使用4

攻击技术

梯度与表征优化2自动化搜索2多轮渐进4角色扮演与说服1推理链操控1潜伏触发4

模型自身风险

欺骗与谋划1奖励作弊1失准与价值偏离3Agent 危险操作2危险能力2拒答失当3幻觉与编造2

防御类型

模型加固5推理时干预11检测与过滤2指令与数据隔离2权限与审批3监控与审计7

影响

有害内容20越权操作12数据与隐私泄露17输出被操纵6可用性与可靠性1监督失效2滥用能力提升1

系统形态

模型与 API42LLM 应用19AI Agent103编程 Agent20网页与电脑操作15多智能体6具身与机器人1

攻击者权限

黑盒11灰盒3白盒3无盒（离线迁移）1

攻击面/入口

用户输入53网页与界面1文档与消息11工具返回7工具与技能描述16代码仓库与依赖12检索语料1记忆写入5Agent 间消息4图像与音视频13训练数据7权重与梯度13分发渠道17推理服务与硬件2

层

提示层60模型层43应用层19训练与数据层22基础设施层6

系统组件

MCP 与技能4记忆2护栏与评审3监控器7推理链6权限与沙箱4微调与开源权重4视觉2音频2图像生成4多模态8
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 530 篇还没打标签，不在筛选结果里。
系统形态：模型与 API系统形态：编程 Agent攻击面/入口：用户输入攻击面/入口：网页与界面攻击面/入口：代码仓库与依赖层：模型层层：应用层清除全部

另有 530 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 可解释性arXiv 2610.12361

    研究：法律推理模型引用法条不等于依据法条

    用依据置换与隐层追踪审计法律思维链是否真正依赖所引法条

    arXiv
    2610.12361
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    Qwen3-8B、Qwen3-14B、Llama-3.1-8B 等 7 个
    摘要作者通过依据置换反事实与内部承诺追踪发现法律 CoT 裁决对依据依赖度有限，且易受提示注入操纵。

    本研究针对法律领域大语言模型思维链推理中引用法律依据的因果真实性展开实证审计。

    深度解读完整解读
  2. 攻击arXiv 2510.10987

    DITTO：通过知识蒸馏伪造水印 LLM 的作者归属

    提出 DITTO 框架，蒸馏提取水印信号并注入外部模型以伪造归属

    arXiv
    2510.10987
    发表
    层
    模型层
    场景
    模型与 API
    攻击者
    黑盒
    被测模型
    Llama3.1-8B、Llama3.2-3B、GPT-OSS 20B 等 4 个

    摘要论文针对大模型水印归属假设的脆弱性，提出黑盒仿冒攻击 DITTO，实现跨架构和采样方案的高检测率与低困惑度仿冒。

    深度解读完整解读
  3. 攻击arXiv 2607.03968

    研究揭示 IDE 编程 Agent 的工作流级越狱：GitHub Copilot 四后端 816/816 生成有害内容

    提出工作流级越狱，在 IDE 编程 Agent 多轮流程中诱导生成有害代码

    arXiv
    2607.03968
    发表
    层
    应用层
    场景
    编程 Agent
    攻击者
    黑盒

    摘要论文揭示了 IDE 编程智能体在多轮开发工作流中会绕过单轮拒答并自行写出有害代码，呼吁防御转向工作流与代码产物级审查。

    深度解读完整解读
  4. 评测与基准arXiv 2610.10276

    PatchBench 提出激活补丁局部评测协议，揭示越狱修复的附带损伤

    提出 PatchBench-Local 协议，评测激活补丁修复越狱的局部附带损伤

    arXiv
    2610.10276
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    Qwen2.5-3B-Instruct、Qwen2.5-14B-Instruct、gemma-3-4b-it 等 8 个

    摘要论文提出 PatchBench 与局部评估协议，揭示了激活补丁在全局能力无损下仍存局部良性退化。

    深度解读完整解读
  7. 攻击arXiv 2610.07510

    PersistBD：攻击者可在发布前强化后门，使其在开发者 SFT 与 RL 后仍保持高攻击成功率

    提出 PERSISTBD，发布前强化后门以穿透良性 SFT 与 RL

    arXiv
    2610.07510
    发表
    层
    应用层
    场景
    编程 Agent
    被测模型
    Qwen2.5-Coder-3B-Instruct、Qwen2.5-Coder-7B-Instruct、Qwen3-Coder-30B-A3B-Instruct
    摘要总结了论文关于后门在 SFT/RL 中存活的发现、两因子机制、PERSISTBD 方法与核心数字。

    本文研究第三方 LLM 智能体在开发者进行良性监督微调（SFT）和强化学习（RL）后训练时的后门持久性风险。

    深度解读完整解读
  8. 防御arXiv 2602.24210

    研究者提出 Staged Decoding 与 SFT 数据集，减少大推理模型推理轨迹中的隐私泄露

    提出 Staged Decoding 与指令跟随训练，减少推理轨迹隐私泄露

    arXiv
    2602.24210
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    Qwen 3 1.7B、Qwen 3 4B、Qwen 3 8B 等 6 个
    摘要用一般指令跟随训练加分段解码，可降低轨迹隐私泄露，但数学效用下降。

    本文把大推理模型的隐私问题做成轨迹可控性：隐私指令是指令，轨迹不跟随就会把敏感上下文写进可被提示注入导出的文本。

    深度解读完整解读
  10. 评测与基准arXiv 2604.02947

    AgentHazard：评估计算机使用智能体有害行为的基准

    提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为

    arXiv
    2604.02947
    发表
    层
    应用层
    场景
    网页与电脑操作、编程 Agent
    被测模型
    Qwen2.5-72B-Instruct、Qwen2.5-Coder-32B-Instruct、Qwen3-32B 等 12 个
    摘要AgentHazard 评估了计算机使用智能体的执行安全，作者认为模型层对齐无法可靠保障智能体层面的安全性。

    AgentHazard 是针对计算机使用智能体执行层安全构建的评估基准，重点探究多步工具调用下局部合理动作累积引发的危害。

    深度解读完整解读
  12. 防御arXiv 2610.03502

    研究者提出可认证机制编辑：在连续输入区域上证明技能移除与保留

    提出机理编辑形式化认证，证明连续输入区域上的技能移除与保留

    arXiv
    2610.03502
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    Toy MLP (separated)、Toy MLP (entangled)、Deep MLP (3-12-8-2) 等 6 个

    摘要提出机理编辑形式化认证框架，证明编辑在连续区域生效且黑盒测试无法保证移除，为安全编辑提供数学证明。

    深度解读完整解读
  13. 防御arXiv 2610.02569

    Pincer：用数字分身学习用户偏好并执行动态最小权限

    提出 Pincer，用数字分身学习用户偏好并对 Agent 做资源层最小权限授权

    arXiv
    2610.02569
    发表
    层
    应用层
    场景
    编程 Agent
    被测模型
    Claude Haiku 4.5、Muse Spark 1.2 Contributor
    摘要Pincer 在资源层以三票合取做授权。

    Pincer 是加在现成 coding agent 上的资源层授权防御：用只受用户侧信息影响的 digital twin 做动态最小权限，并与 tool-call 层防御并存。要处理的是用户维护策略带来的权限蠕变和授权疲劳，以及不学习用户策略的 tool-call 分类器。作者引述工作称 auto mode 会放行多数不安全操作，并认为推理代码或复杂 shell 的效果在这一层不实际。

    深度解读完整解读
  18. 评测与基准arXiv 2608.20554

    aiXamine：跨维度评测 LLM 安全、安全（security）与隐私权衡

    提出 aiXamine 黑盒基准，统一评测 LLM 安全、稳健与隐私权衡

    arXiv
    2608.20554
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    openai/gpt-5-mini、openai/gpt-4o、anthropic/claude-haiku-4.5 等 15 个
    摘要aiXamine 用九服务黑盒协议比较百余个模型，作者称单轴信任度进展可能削弱其他轴。

    aiXamine 是一套黑盒评测协议，用来在同一条件下比较 LLM 的 safety、security 与 privacy，而不是再产出一个能力分。

    深度解读完整解读
  19. 防御arXiv 2607.24017

    多模态大模型注意力中的语义与结构偏差解耦：SPAR 免训练干预方法

    提出 SPAR 以分离注意力结构偏置并重分配视觉注意力，减轻多模态幻觉

    arXiv
    2607.24017
    发表
    层
    模型层
    场景
    模型与 API
    摘要SPAR 用显著性净化文本结构偏置并重分配注意力，在 LLaVA 上同时压低自发幻觉、抬升 gaslighting 后准确率。

    SPAR 是一种免训练的 MLLM 推理时干预，用来把注意力里的结构偏置和语义视觉信号分开。

    深度解读完整解读
加载更多