攻击arXiv 2608.25776
EvoMal 攻击利用自我进化编码 Agent 的自我投毒实现蠕虫式传播
提出 EVOMAL 攻击，诱导编码 Agent 自我投毒并蠕虫式传播技能
- arXiv
- 2608.25776
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Devstral-Small-2、Gemma-4-31B-IT、Qwen3-Coder-Next 等 7 个
摘要论文指出了自演化智能体模仿检索代码的自我毒化漏洞，提出 EVOMAL 攻击与防御，阐明了供应链新风险。
全部论文
另有 449 篇论文还没打上分类标签，暂不在筛选结果里。
- 防御arXiv 2609.38909
Purdue 提出 Pact：将欺骗作为行为遗忘
提出 PACT，遗忘推理模型在压力下的欺骗行为并保留上下文理解
- arXiv
- 2609.38909
- 发表
- 场景
- 模型与 API
- 攻击者
- 白盒
- 测试
- DeepSeek-R1-Distill-Qwen-32B、QwQ-32B
摘要论文将大模型欺骗形式化为上下文条件行为，提出 PACT 框架在消除欺骗的同时保留了上下文遵循能力。
- 分析与理论arXiv 2610.06851
研究发现基础模型仅靠固定开头 token 即可达到 RL 级推理表现
证明短开头词可唤醒基模型推理，且效应来自训练数据
- arXiv
- 2610.06851
- 发表
- 场景
- 模型与 API
- 测试
- Olmo-3-7B、Olmo-3-32B、Qwen3-4B 等 10 个
- 组件推理链
- 防御arXiv 2609.34519
EOPSA：高效在策略自蒸馏安全对齐方法
提出 EOPSA，用 TRR 截断与安全类过滤做在策略自蒸馏安全对齐
- arXiv
- 2609.34519
- 发表
- 场景
- 模型与 API
- 测试
- Qwen3-1.7B、Qwen3-4B、Qwen3-14B 等 5 个
- 评测与基准arXiv 2608.04830
ContextWeave：面向长周期办公工作流的智能体记忆基准
提出办公工作流记忆基准 ContextWeave ，衡量历史召回对后续任务的增益
- arXiv
- 2608.04830
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- DeepSeek-V4-Pro、GPT-5.5、GLM-5.1 等 5 个
- 组件记忆
摘要ContextWeave 用真实办公任务流检验记忆是否改善工作区质量与偏好对齐。
ContextWeave 是面向语言智能体记忆的纵向基准，用来看召回先前经验能否让后续办公任务做得更好。
- 攻击arXiv 2609.35699
论文：蒸馏防御在蒸馏后强化学习下易被攻破
提出用 API 推理摘要重建轨迹再蒸馏加强化学习，攻破蒸馏防御
- arXiv
- 2609.35699
- 发表
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 测试
- Qwen2.5-0.5B、Qwen2.5-1.5B、Qwen2.5-3B 等 12 个
摘要更现实的蒸馏攻击是蒸馏后再 RL。
这篇工作修订蒸馏攻击的威胁模型：攻击者经合法 API 收集闭源推理数据，先蒸馏自有模型，再做强化学习。作者认为只在蒸馏后评估防御，会漏掉后续 RL，从而高估防御。
- 攻击arXiv 2609.01222
研究者提出上下文权限提升攻击，12 款 Agent 框架均受影响
提出 M-CPE 与 X-CPE 两类上下文特权提升攻击
- arXiv
- 2609.01222
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- GPT-5.5、GPT-5.4 mini、Claude-Sonnet-4.6 等 7 个
- 风险行为arXiv 2608.10218
研究者用进化算法构造多智能体 LLM 系统中的自我传播“思维病毒”
用演化算法构造思维病毒并测量其在多智能体中的传播
- arXiv
- 2608.10218
- 发表
- 层
- 应用层
- 测试
- Claude Haiku 4.5、Claude Sonnet 4.6、Claude Opus 4.6 等 9 个
- 评测与基准arXiv 2607.14611
论文评测 Claude Code 与 Codex 记忆文件中的提示注入风险
评测编码智能体记忆文件中的提示注入及其跨会话持久性
- arXiv
- 2607.14611
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Claude Haiku 4.5、Claude Opus 4.7、GPT-5.2 等 4 个
摘要已植入记忆文件的载荷可以跨会话影响 Claude Code 与 Codex，攻击成功与载荷是否留下是两种不同的失败。
Bad Memory 在沙箱合成工作区里评测文件型持久记忆上的提示注入，比较载荷能否改变当前会话，以及能否在后续会话中留下或叠加。
- 其他arXiv 2609.22720
残障披露如何在对话式 AI 中流动：ChatGPT、Claude、Gemini 的记忆、隐私与语境完整性
访谈残障成人，分析向记忆型助手披露残障时的信息流与语境完整性
- arXiv
- 2609.22720
- 发表
- 层
- 应用层
- 场景
- 模型与 API
- 组件记忆
- 分析与理论arXiv 2610.02015
研究：RLVR 后训练在全新推理任务上引发语言漂移
证明 RLVR 后训练允许无界语言漂移且限制漂移必限制奖励
- arXiv
- 2610.02015
- 发表
- 场景
- 模型与 API
- 测试
- gemma-3-1b-pt、Llama-3.2-1B、Qwen2.5-1.5B 等 6 个
- 组件推理链
摘要论文证明并验证了 RLVR 在新任务上必然诱发独特的语言漂移，揭示了前沿推理模型可监控性的安全隐患。
论文从理论与实验两方面研究了大语言模型在 RLVR 后训练过程中思维链出现的语言漂移现象。
- 防御arXiv 2610.00332
最弱一环：用最坏情况约束强化学习蒸馏 LLM 推理能力
提出最坏情况约束强化学习，抑制推理蒸馏中的奖励投机
- arXiv
- 2610.00332
- 发表
- 场景
- 模型与 API
- 测试
- Qwen2.5-1.5B、Qwen2.5-Math-7B-Instruct、Llama-3.2-3B 等 6 个
摘要最坏前缀教师似然约束让小模型在接近 GRPO 正确率的同时维持更高保真，从而得到最高 RSR。
Weakest Link 把大模型推理蒸馏改写成带最坏前缀约束的强化学习：学生最大化可验证任务奖励，但任一前缀上对教师的平均负对数似然不得超过预算 d。作者认为，序列级软 KL 只惩罚平均散度，学生可以用别处的高概率文本掩盖某一步的逻辑错误，同时仍得到正确最终答案。GRPO 则只优化最终答案。
- 评测与基准arXiv 2609.08126
SchemeArena：面向 LLM 智能体谋划的因子化压力测试基准
提出 SchemeArena 因子化评测智能体的谋划倾向
- arXiv
- 2609.08126
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Qwen3-8B、Qwen3-32B、o4-mini 等 5 个
摘要SchemeArena 把 scheming 拆成目标和 hint 等因子。
- 防御arXiv 2609.31911
用强化学习增强胸部 X 光报告生成中的视觉推理
用门控 IoU 与 RadGraph 的 GRPO 降低胸片报告幻觉
- arXiv
- 2609.31911
- 发表
- 场景
- 模型与 API
- 测试
- Qwen3-VL-8B-Instruct、MedGemma、DeepMedix-R1 等 7 个
- 评测与基准arXiv 2609.39533
CATCH：面向编码 RL 奖励作弊的可控分析测试台
提出 CATCH 测试台，复现编码 RL 的奖励作弊
- arXiv
- 2609.39533
- 发表
- 场景
- 编程 Agent
- 测试
- Qwen3-4B、Qwen3.5-Plus、Qwen3.5-27B
摘要CATCH 用双运行金标签研究编码 RL 的奖励黑客，并观察到监控会被注释适应削弱。
CATCH 是面向编码 RL 奖励黑客的可控分析测试床，用可利用环境、可调初始倾向和基于执行的金标签，在训练全程比较黑客动态与干预。
- 攻击arXiv 2608.06862
SynChain：诱导计算机使用 Agent 自建攻击链并跨任务持久化
提出 SYNCHAIN，诱导计算机使用 Agent 自合成潜伏技能并跨任务触发
- arXiv
- 2608.06862
- 发表
- 层
- 应用层
- 测试
- Qwen3.5-9B、Llama-3.1-8B、Ministral-3-8B 等 5 个
摘要论文揭示了 CUA 自合成工件带来的内部供应链威胁，验证了潜伏载荷的跨任务传播能力与防御局限。
- 可解释性arXiv 2609.24243
TAME：用 SAE 抑制激活缓解 VLM 思维链混淆
提出 TAME，在强化学习中抑制模板激活以缓解思维链混淆
- arXiv
- 2609.24243
- 发表
- 场景
- 模型与 API
- 测试
- Qwen3-VL-8B、Gemma-3-12B-it、GPT-4o 等 7 个
- 防御arXiv 2609.35659
Tracekit：面向自主编码 Agent 的防篡改意图-推理-动作审计系统
提出 Tracekit，对编码 Agent 做防篡改的意图-推理-动作审计
- arXiv
- 2609.35659
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Claude Code (claude -p, version 2.1)、独立评审（同一 CLI，无工具）
- 防御监控与审计
- 攻击提示注入
- 风险Agent 危险操作
- 组件监控器
摘要Tracekit 把意图、自述和动作写入可锚定的哈希链。
Tracekit 是无第三方依赖的编码智能体审计层：把人类请求、模型自述和已执行动作并排写入可外部锚定的哈希链，执行前用正则门，事后用规则和独立模型互查。
- 防御arXiv 2609.37054
ACTR：对齐推理与回答以提升推理大语言模型的多语言安全
提出 ACTR，只更新安全思考神经元以对齐推理与回答的安全类别
- arXiv
- 2609.37054
- 发表
- 场景
- 模型与 API
- 测试
- Qwen3-8B、Gemma4-12B-it
已经到底了