攻击arXiv 2610.05793
研究者训练出按多智能体拓扑触发的代码后门模型
提出拓扑条件后门，使模型在推断多智能体部署时向代码插入隐蔽漏洞
- arXiv
- 2610.05793
- 发表
- 测试
- Qwen2.5-7B-Instruct、Qwen2.5-Coder-7B-Instruct
摘要论文证实了拓扑条件后门的可训练性与泛化性，展示了常规评测盲区，并提出差异化拓扑审计作为检测防御方向。
Agent 安全 · 论文
另有 199 篇论文还没打上分类标签，暂不在筛选结果里。
- 风险行为arXiv 2610.06576
研究：智能体欺骗行为在外部显现前已可从内部表征预测
从决策前内部表征预测智能体自发欺骗并做激活引导
- arXiv
- 2610.06576
- 发表
- 层
- 模型层
- 场景
- AI Agent
- 测试
- Qwen3-14B、GPT-5.6
摘要论文展示了智能体自发欺骗可在行为显现前由内部表征预测，并通过激活引导证实了表征的行为可操作性。
- 可解释性arXiv 2610.02702
研究：LLM 智能体顺从多数时内部仍保留原有前提
用 J-lens 检测屈从多数的智能体是否仍表征原前提
- arXiv
- 2610.02702
- 发表
- 层
- 模型层
- 场景
- 多智能体
- 测试
- Qwen3.5-4B、Qwen3.6-27B、Gemma-4-E4B-it 等 4 个
- 组件推理链
摘要揭示 LLM 智能体屈从多数时内部仍表征原推理前提，指出辩论表态共识可能夸大真实认同。
- 其他arXiv 2607.28568
Frontis-MA1：面向机器学习工程递归自我改进的 AI4AI 模型
提出 OpenMLE 全栈，用执行反馈后训练机器学习元进化智能体
- arXiv
- 2607.28568
- 发表
- 场景
- 编程 Agent
- 测试
- Frontis-MA1-35B、Qwen3.6-35B-A3B、Frontis-MA1-30B 等 15 个
- 风险危险能力
摘要OpenMLE 训练 Frontis-MA1-35B，用四个共享算子把 MLE 后训练和长程搜索接成元进化闭环。
作者提出全栈 OpenMLE，在机器学习工程里研究从进化到元进化的一步，并把递归自我改进视为更远目标。智能体要在延迟、有噪声的执行反馈下反复修改程序。作者认为公开系统很少同时提供可扩展环境、基于执行的后训练，以及部署该模型的长程进化搜索。
- 防御arXiv 2610.00850
AuraForge：为训练安全编码 Agent 扩展安全监督
提出 AuraForge，从漏洞修复合成安全测试并监督训练编码智能体
- arXiv
- 2610.00850
- 发表
- 场景
- 编程 Agent
- 测试
- Qwen3.5-4B、Muse Spark 1.3、DeepSeek-V4.1-Flash 等 11 个
- 防御模型加固
- 风险Agent 危险操作
摘要AuraForge 用攻击效果测试和防泄露环境做成 AuraGym，合成监督的误拒更低，训出的 4B 模型增益高于人工测试。
AuraForge 把真实仓库的历史漏洞修复变成可执行训练任务，用来监督编程智能体同时满足功能请求和隐含的安全要求。
- 其他arXiv 2609.22978
DeepSeek Elastic Compute（DSec）：面向大规模智能体训练的高效沙箱基础设施
提出沙箱平台 DSec，支撑大规模智能体训练的弹性隔离与状态恢复
- arXiv
- 2609.22978
- 发表
- 场景
- AI Agent
摘要DSec 是面向大规模智能体 RL 的多后端生产沙箱，用分层、按需镜像和训练协同维持高密度。
DSec 是 DeepSeek-AI 的生产沙箱平台，用来支撑从 DeepSeek V3.2 到 V4.1 的智能体 RL 与评测，而不是报告某个模型的任务准确率。
- 防御arXiv 2609.39102
论文提出 CrossFit 缓解自演化搜索智能体的共谋作弊
提出 CrossFit，用折外求解器缓解自进化搜索智能体的共作弊
- arXiv
- 2609.39102
- 发表
- 场景
- AI Agent
- 测试
- Qwen3.5-4B、Qwen3.5-9B
摘要CrossFit 切断同源伪标签回流到提议者奖励的路径，并提高七个搜索基准上的 Cover-EM。
False Frontiers 诊断自进化搜索智能体中的 co-cheating，并用按来源交叉拟合的反馈来缓解它。
- 评测与基准arXiv 2609.35408
研究揭示 LLM 交付物修订痕迹导致的无意泄露，并提出 RevLeakBench 基准
提出 RevLeakBench 测量交付物修订痕迹造成的无意泄露
- arXiv
- 2609.35408
- 发表
- 层
- 模型层
- 场景
- AI Agent
- 测试
- GPT-5.6、GPT-5.5、DeepSeek-V4-Pro 等 6 个
摘要修订痕迹让撤回项重新进入交付物。
修订痕迹指模型按要求删掉或换掉一项后，又在交代这次修改时把它写进给第三方的交付物。
- 攻击arXiv 2609.07051
TrojanWorld：通过想象引导对世界模型智能体植入后门
提出 TrojanWorld，通过想象引导给世界模型智能体植入供应链后门
- arXiv
- 2609.07051
- 发表
- 场景
- 具身与机器人
- 测试
- TD-MPC2、DreamerV3、R2-Dreamer
摘要TrojanWorld 揭示了世界模型智能体的供应链后门风险，通过在世界模型中操纵想象可实现对闭环动作的持续控制。
- 攻击arXiv 2609.22711
UBA-ORL：针对离线强化学习的遗忘激活后门攻击
提出 UBA-ORL，借助 BD 与 CM 样本让离线强化学习后门在轨迹删除后激活
- arXiv
- 2609.22711
- 发表
- 场景
- 具身与机器人
- 测试
- TD3+BC、BCQ、IQL
摘要UBA-ORL 用竞争的 BD/CM 样本，使离线 RL 后门在删除伪装轨迹后激活。
UBA-ORL 研究离线强化学习中由合规轨迹删除激活的后门：合法贡献者同时上传共享触发的后门轨迹和伪装轨迹，训练后触发响应被压低，删除伪装批次后再升高。受害系统是使用静态数据集和轨迹级遗忘接口的离线 RL 服务。对手不能看到训练算法、参数、梯度或具体遗忘算法，但能提交可区分批次，并在部署时向观测注入预定触发。
- 攻击arXiv 2609.14060
AgentQ：针对 LLM Agent 的量化条件后门攻击
提出 AGENTQ，向开源智能体权重植入仅在量化后触发的恶意工具后门
- arXiv
- 2609.14060
- 发表
- 场景
- AI Agent
- 测试
- Qwen3.5-2B、Qwen3.5-4B、Qwen3.5-9B 等 6 个
摘要论文研究了智能体量化条件后门风险，提出 AGENTQ 在保持效用的同时实现全精度隐蔽与量化后生效。
- 风险行为arXiv 2609.35291
窄域多模态微调可诱发涌现性失配，覆盖 15 个视觉语言模型
发现无显式危害的窄域图文微调可诱发涌现失准
- arXiv
- 2609.35291
- 发表
- 层
- 模型层
- 场景
- 网页与电脑操作
- 测试
- GPT-4o、GPT-4.1、Gemini 2.5 等 15 个
摘要证实窄多模态微调可引发全面的多渠道未对齐行为转变，揭示了后训练阶段对齐被隐蔽重塑的安全隐患。
论文系统探究了视觉-语言模型中由窄任务微调诱发的跨模态涌现未对齐（Emergent Misalignment, EM）现象。
- 可解释性arXiv 2609.36138
SAKIKO：对工具调用 LLM 内部干预的机制审计框架
提出 SAKIKO 框架，审计工具调用 LLM 的定向激活干预是否构成修复
- arXiv
- 2609.36138
- 发表
- 层
- 模型层
- 场景
- AI Agent
- 测试
- Phi-3.5-mini、Qwen2.5-7B、Llama-3.1-8B 等 8 个
摘要SAKIKO 用目的地、保持和预注册不确定性裁定内部转向是否算修复。
SAKIKO 审计工具型 LLM 在执行前 K 路动作上的内部干预：行为净增益、到达正确动作、保住原本正确的决策、以及统计证据充分，是四件分开的事。
- 防御arXiv 2609.36820
CorrGRPO：面向多奖励学习的相关性归一化 GRPO
提出 CorrGRPO，用组内 Pearson 相关归一化多奖励 GRPO
- arXiv
- 2609.36820
- 发表
- 场景
- AI Agent
- 测试
- Qwen2.5-Coder-0.5B-Instruct、Qwen2.5-Coder-1.5B-Instruct、Qwen2.5-Coder-3B-Instruct 等 8 个
摘要CorrGRPO 用 Pearson 相关归一化多奖励 GRPO 优势，并在三个域报告改进。
CorrGRPO 是 GRPO 的多奖励变体：组内优势的分子仍是中心化总奖励，分母改为 Pearson 相关之和，避免大尺度奖励主导归一化。
已经到底了