防御arXiv 2610.12602
语言模型中的自我保存
提出 Task Bank 自回放，缓解持续指令微调的留出遗忘
- arXiv
- 2610.12602
- 发表
- 场景
- 模型与 API
- 被测模型
- Qwen3-0.6B、Qwen3-1.7B、Qwen3-4B 等4个
- 防御模型加固
摘要作者称自回放可在清单外减遗忘，4B 上新任务信息有助于选目标，小模型则无。
作者研究语言模型学习新任务时，如何用自身知识做更广的自我保持：给定清单不完整，遗忘又会超出清单，模型能否生成回放并帮忙选择目标。
- 防御arXiv 2610.10833
研究：Agent 准时停机不等于有效使用时间预算
用时钟 harness 和预算塑形 GRPO 改善 Agent 的按时返回
- arXiv
- 2610.10833
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Qwen3.6-27B、Qwen3-4B、Qwen3.5-9B 等4个
- 防御模型加固
摘要作者比较提示词、harness 与 GRPO：按时性可改善，但额外时间仍未变成更好解。
作者研究小规模 LLM 智能体在显式 wall-clock 预算下能否按时返回，并把更多时间换成更好的解。
- 防御arXiv 2610.08773
AdvSim2Real 用任务与注入对手共同演化训练网页智能体
提出 AdvSim2Real，协同训练网页智能体抵御页面注入
- arXiv
- 2610.08773
- 发表
- 层
- 应用层
- 被测模型
- Qwen3.5-4B
- 防御arXiv 2610.05089
研究者披露 LiteLLM 网关跨租户干扰攻击 Cooldown Landmines
提出利用共享冷却的跨租户干扰攻击，并设计租户隔离机制
- arXiv
- 2610.05089
- 发表
- 场景
- LLM 应用
摘要揭示网关共享冷却漏洞，提出来源检查与租户隔离防御。
- 防御arXiv 2610.04998
EmoRSS：缓解大语言模型由情绪引发的过度拒答
提出 EmoRSS，推理时在拒绝子空间反向抵消情绪激活偏移以缓解过度拒答
- arXiv
- 2610.04998
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Llama-3.1-8B-it、Qwen3-8B
- 防御arXiv 2610.04616
PerturBot 用扰动训练打破视觉-语言-动作模型的模态捷径
提出 Perturbot 扰动训练，打破 VLA 的模态捷径
- arXiv
- 2610.04616
- 发表
- 场景
- 具身与机器人
- 被测模型
- π0.5
摘要Perturbot 改训练数据以削弱三类模态捷径，GroundFscore 用来看成功是否来自任务证据。
Perturbot 是一套不改推理的 VLA 训练期数据干预，用来削弱模态捷径，并用离线分数区分“任务变好”和“靠捷径变好”。
- 防御arXiv 2610.04299
R-Quest：用问题有效性与新颖性反馈维持推理模型自我进化
提出 R-Quest，用有效性与新颖性反馈维持推理模型自我进化
- arXiv
- 2610.04299
- 发表
- 场景
- 模型与 API
- 被测模型
- Qwen3-4B-Base、OctoThinker-3B-Hybrid-Base
摘要R-Quest 用有效性与新颖性反馈维持自进化。
R-Quest 处理的是推理模型自进化中的题目质量：questioner 与 solver 用 GRPO 交替从自生成题目学习时，多轮之后平均成绩会下降。
- 防御arXiv 2610.02126
Local Support Learning：无需旧数据缓解 LLM 灾难性遗忘
提出 Local Support Learning，把微调适配器限制在当前数据支撑以缓解遗忘
- arXiv
- 2610.02126
- 发表
- 场景
- 模型与 API
- 被测模型
- Qwen2.5-7B-Instruct、Qwen2.5-3B-Instruct、Qwen2.5-1.5B-Instruct
- 防御模型加固
摘要LSL 用 GMM 门把适配器限制在当前数据支撑内，以减轻多阶段遗忘。
LSL 是不访问旧数据、在后训练中保持先前能力的框架。
- 防御arXiv 2610.01170
HeadEdit：通过冻结的 unembedding 矩阵校准语言模型行为
提出 HeadEdit，经冻结 unembedding 做随输入变化的 logit 校正
- arXiv
- 2610.01170
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Qwen3-4B、Gemma-3-4B-IT、Llama-3.2-3B-Instruct 等4个
摘要低秩 unembedding 校正抬高九个设置的总体准确率，并可部分预测 DPO 更新。
HeadEdit 是一种不更新参数的行为校准方法，作用点是冻结的 unembedding，而不是中间层残差或新的梯度优化。
- 防御arXiv 2609.39820
FailBank：用运行时反馈自进化提升 VLA 模型任务成功率
提出 FAIL BANK，用运行时 CBF 反馈自进化更新 VLA 策略
- arXiv
- 2609.39820
- 发表
- 场景
- 具身与机器人
- 被测模型
- π0.5、π0
- 防御模型加固
- 风险Agent 危险操作
- 防御arXiv 2609.39306
ReSAIL：缓解迭代式智能体自蒸馏中的能力崩塌
提出 ReSAIL，用选择蒸馏与特权保留缓解智能体自蒸馏崩塌
- arXiv
- 2609.39306
- 发表
- 场景
- AI Agent
- 被测模型
- Qwen3-4B、Qwen3-8B、Qwen3-VL-4B-Instruct
- 防御模型加固
- 防御arXiv 2609.34857
CREDO：用可微读出替代文本采样校准推理模型置信度
提出 CREDO，用保留 token 对的可微读出校准推理模型置信度
- arXiv
- 2609.34857
- 发表
- 场景
- 模型与 API
- 被测模型
- Qwen3-8B、Qwen3-1.7B、Qwen3-4B
- 防御模型加固
摘要CREDO 用可微两 token 读出替代口头置信，在数学和代码上同时拉高准确率与校准。
CREDO 把 RLVR 里的置信从“采样一个数字”改成“读一对保留 token 的相对概率”，并用可微回归和差异加权同时拉准确率与校准。。
- 防御arXiv 2609.28585
论文提出持久计费状态概念，揭示工具调用 LLM Agent 的拒绝钱包攻击与防御
定义工具调用 Agent 的持久计费状态，提出拒绝钱包攻击与防御
- arXiv
- 2609.28585
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- GPT-4o、GPT-4o-mini、Mistral-Large 等7个
摘要已准入工具返回的跨轮保留会重复计费。
这篇工作把工具调用智能体里跨轮保留、并被提供商反复计费的外部工具返回定义为 persistent billable state，并把它的主机侧再次送入决定当作控制点。。
- 防御arXiv 2609.27124
Fed-ADR：用恶意编排服务器协同客户端梯度操纵攻击联邦学习
提出 Fed-ADR，用编排服务器协同操纵梯度攻破联邦学习并检测恢复
- arXiv
- 2609.27124
- 发表
- 场景
- 模型与 API
- 攻击者
- 灰盒
- 被测模型
- CNN（MNIST：2 Conv + 3 FC）、CNN（Fashion-MNIST：6 Conv + 1 FC）、ResNet18（CIFAR-10）
摘要Fed-ADR 用 gray-box 编排攻击绕过多种聚合防御，再用 Hessian 一致性检测和窗口内恢复把准确率拉回。
Fed-ADR 是一套面向联邦学习的攻击、检测与恢复框架：编排服务器改写合谋客户端的梯度，使参数服务器的现有防御把投毒更新当成良性，同时在发现后用历史梯度把全局模型原地修回来。
- 防御arXiv 2609.21561
自蒸馏中的排斥与吸引教师：将正确性与行为分离
提出对比自蒸馏，分离正确性与行为偏移
- arXiv
- 2609.21561
- 发表
- 场景
- 模型与 API
- 被测模型
- Qwen3-4B、Qwen3-4B-Instruct-2507
- 防御模型加固
摘要隔离自蒸馏后，对比正确与错误解教师可抵消行为偏移并稳定提升推理。
把自蒸馏从 GRPO 里拆开后，用靠近正确解教师、远离错误解教师的对比信号，把正确性和行为分开。。
- 防御arXiv 2609.04714
无需拒答的拒答：减少语言模型误拒的安全微调响应结构分析
提出 Rationale-Only 安全微调，去掉拒答声明以降低误拒
- arXiv
- 2609.04714
- 发表
- 场景
- 模型与 API
- 被测模型
- Llama-3.1-8B、Mistral-7B-v0.3、Gemma-2-9B 等8个
摘要去掉套话拒答声明、只训理由，可降低假拒答，有害查询上的服从率仍低。
这是一项针对安全微调数据的结构分析：假拒答被作者追溯到回答里的套话式拒答声明，而不是只靠推理时补救。
- 防御arXiv 2608.02110
IACM-RL：面向动态意图波动下复杂工具调用的意图感知上下文管理与强化学习
提出 IACM-RL，用信念状态与强化学习改进动态意图下的复杂工具调用
- arXiv
- 2608.02110
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Qwen3-8B、1.7B Qwen
- 防御模型加固
- 防御arXiv 2601.12672
VILTA：将 VLM 纳入闭环训练以提升驾驶策略鲁棒性
提出 VILTA，在闭环训练中用 VLM 编辑邻车轨迹以提升驾驶策略鲁棒性
- arXiv
- 2601.12672
- 发表
- 场景
- 具身与机器人
- 防御模型加固
- 风险Agent 危险操作
摘要VILTA 在闭环中编辑邻车轨迹以训练驾驶策略。
VILTA 是一个把视觉语言模型放进自动驾驶闭环训练的框架，用来应对长尾危险场景不足。
- 防御arXiv 2601.03401
利用 LLM 对齐机制使数据不可被学习
提出 Disclaimer Injection，利用对齐机制使文本难以被学习
- arXiv
- 2601.03401
- 发表
- 场景
- 模型与 API
- 被测模型
- LLaMA-3-8B-Instruct
摘要黑盒声明注入压低微调分数，作者把它归因于对齐层持续激活。
作者提出数据级方法 Disclaimer Injection，在 black-box 条件下降低文本被当代 LLM 微调学会的程度。所有者公开文本时未必打算供人训练。作者认为抓取之后法律手段难起作用，而早期模型上的表层扰动要么被当代 LLM 恢复语义，要么损坏可读性。
已经到底了