可解释性arXiv:2610.09384 · 10月7日
人格层级模型解释微调 LLM 的上下文泛化
提出人格层级模型解释微调行为的上下文泛化，并用 PPR 抑制奖励作弊
模型与 API测试Qwen3-4B、Llama-3.1-8B-Instruct模型层
- 模型加固
- 奖励作弊
摘要提出人格层级模型揭示微调跨上下文泛化规律，报告角色距离正相关性，通过 PPR 抑制 RL 作弊。
完整解读
防御arXiv:2610.03055 · 10月2日
HackTrace：用生成状态监督检测代码生成中的奖励作弊
提出 HACKTRACE 用生成状态检测并抑制代码奖励作弊
编程 Agent测试Qwen3-8B、Llama-3.1-8B-Instruct、Qwen3.5-4B 等 4 个应用层
摘要论文提出利用生成状态监督作弊尝试的 HACKTRACE 框架，实现高精度低延迟检测并在 GRPO 训练中有效抑制奖励投机。
完整解读
防御arXiv:2609.02786 · 9月3日
SafeEvolve：基于智能体经验的 Harness-Policy 协同演化安全对齐框架
提出 SafeEvolve，用轨迹证据协同演化安全 harness 与策略
AI Agent测试Qwen3.5-4B、Qwen3-4B-Instruct-2507、Qwen3.5-1.7B 等 4 个应用层
摘要SafeEvolve 用轨迹证据协同更新安全 harness 和策略，在两个 4B 模型的智能体安全基准上改变安全与效用。
SafeEvolve 把已完成的 on-policy 轨迹变成安全 harness 的有界更新，并用两阶段 SFT-RL 把这些更新内化进工具使用策略。
完整解读
防御arXiv:2609.22178 · 8月27日
SCOPE：训练有能力且安全的计算机使用智能体
提出 SCOPE 联合后训练计算机使用智能体的任务执行与安全决策
网页与电脑操作测试Qwen3.5-9B、SCOPE-mid-checkpoint、SCOPE-Capability-Safety 等 14 个应用层
- 模型加固
- 提示注入
完整解读
可解释性arXiv:2609.06934 · 9月7日
论文提出拒答的几何解释：事后安全训练脆弱，预训练期持续安全共训更抗攻击
用权重几何解释事后安全脆弱，并提出预训练持续安全共训练
模型与 API测试Qwen-2.5-7B、Qwen-2.5-7B-Instruct、Llama-3-8B 等 15 个模型层
摘要论文将后验安全脆弱性归因于正交抑制，并提出通过预训练持续共训练实现具备微调抗性的安全防护。
完整解读
防御arXiv:2609.19101 · 9月17日
用内部表征监控与发现 LLM 评测中的奖励作弊
提出 DoM 激活探针，监控并发现评测中的奖励作弊
编程 Agent测试Kimi K3、GLM 5.2、Qwen 3.8 Max 等 7 个模型层
摘要论文分析了前沿开源模型在评测中的奖励投机，展示了利用内部激活均值差向量低成本监控与发现投机行为的可行性。
完整解读
攻击arXiv:2609.22510 · 9月19日
特拉维夫大学提出爆炸性提示词：条件触发的间接提示注入可绕过九款生产 Agent
提出爆炸提示词，用条件触发的间接注入延迟诱发恶意工具调用
AI Agent测试Llama-3.1-8B-Instruct、Llama-3.1-70B-Instruct、Qwen2.5-32B-Instruct 等 14 个应用层
摘要论文揭示了条件触发使提示注入绕过防御并在触发时执行工具，提出轻量检测器并在摄入期有效防范。
论文针对大语言模型智能体面临的间接提示注入威胁，研究了利用条件句式实现时间分离的爆炸提示词。
完整解读

已经到底了

阿里巴巴 · Qwen · 论文

攻击类型

攻击技术

模型自身风险

防御类型

影响

系统形态

攻击面/入口

层

系统组件

被测模型厂商

人格层级模型解释微调 LLM 的上下文泛化

HackTrace：用生成状态监督检测代码生成中的奖励作弊

SafeEvolve：基于智能体经验的 Harness-Policy 协同演化安全对齐框架

SCOPE：训练有能力且安全的计算机使用智能体

论文提出拒答的几何解释：事后安全训练脆弱，预训练期持续安全共训更抗攻击

用内部表征监控与发现 LLM 评测中的奖励作弊

特拉维夫大学提出爆炸性提示词：条件触发的间接提示注入可绕过九款生产 Agent