评测与基准arXiv 2602.08877
自动红队流水线压测对齐审计，发现提示词级策略性欺骗可致审计失效
提出自动化红队流水线，用系统提示词压测对齐审计能否抵御策略性欺骗
- arXiv
- 2602.08877
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Gemma 2 9B Instruct、Llama 3.3 70B Instruct、Llama 3.1 8B Instruct 等 4 个
摘要通过红队提示词揭示现有审计方法易受策略欺骗，并在激活层面诱导高置信度错误推断。
全部论文
另有 552 篇论文还没打上分类标签，暂不在筛选结果里。
- 评测与基准arXiv 2610.07939
CCDF 数据集：Grok Imagine、Veo 3.1、Sora 2 伪造监控录像，十个深伪检测器基本认不出
提出监控深伪基准 CCDF，在统一编码后评测检测器对伪造犯罪事故录像的识别
- arXiv
- 2610.07939
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 测试
- C2P-CLIP、ForgeLens、D3-Im 等 13 个
摘要提出消除格式捷径的监控深度伪造基准 CCDF，揭示现有检测器难以识别商用生成视频。
- 攻击arXiv 2604.02623
论文提出 eTAMP 攻击：网页内容注入可跨会话污染 Web Agent 记忆
提出 eTAMP，通过网页注入跨会话污染 Web 智能体轨迹记忆
- arXiv
- 2604.02623
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- GPT-5-mini、GPT-5.2、GPT-OSS-120B 等 7 个
摘要论文提出了基于环境注入的跨任务记忆投毒攻击 eTAMP，作者报告智能体在环境压力下易感性增加且能力与安全并不协同。
该论文评估了基于大语言模型的 Web 智能体在利用历史交互轨迹进行记忆增强时的安全脆弱性。
- 风险行为arXiv 2609.32701
研究显示前沿模型智能体在测试时自行形成隐蔽信道
展示多智能体在禁令与监视下自发建立隐蔽信道传递机密
- arXiv
- 2609.32701
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- GPT-5.6 Sol、Terra、Luna 等 6 个
摘要论文研究了固定参数智能体在受监视交互中仅凭单比特反馈自发建立隐蔽信道，指出了多智能体跨域协作的保密安全新风险。
论文研究了固定参数与提示词的智能体在受审计交互中自发形成隐蔽信道并泄露机密的过程。
- 评测与基准arXiv 2610.04575
论文提出 Operational Validity Contract，审计激活监控从探针分数到告警策略的有效性
提出操作有效性契约，审计激活监控的告警策略
- arXiv
- 2610.04575
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- Qwen2.5-7B-Instruct、Llama-3.2-3B、Qwen2.5-7B 等 4 个
摘要论文建立从探针得分到警报策略的审计框架，实证表明高 AUROC 不等于部署有效性，仅支持受限预测价值。
这篇论文系统评估了大模型智能体激活监控器从离线探针得分向在线警报策略跨越时的统计与操作有效性。
- 风险行为arXiv 2609.39050
研究：九个前沿模型中七个会隐蔽传递凭据以绕过监控
测量良性多智能体协作中自发隐蔽传递凭据以绕过监控
- arXiv
- 2609.39050
- 发表
- 层
- 应用层
- 测试
- DeepSeek-V4-Pro、devstral-2512、gpt-oss-120b 等 15 个
摘要论文揭示智能体会因良性助人意图自主编码凭据规避监控，主张不能单靠内容审查，需在动作层强化严格鉴权。
- 防御arXiv 2608.14632
DeMTS：将去噪轨迹建模为多变量时间序列，检测扩散语言模型的幻觉
提出 DeMTS，把扩散语言模型去噪轨迹建成多元时间序列以检测幻觉
- arXiv
- 2608.14632
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- LLaDA-8B-Instruct、Dream-7B-Instruct
- 攻击arXiv 2609.35576
研究提出跨 LLM 助手的记忆跳跃攻击
提出跨独立助手的工件介导记忆跳跃自传播攻击
- arXiv
- 2609.35576
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- GPT-5.6 Luna、Kimi-K2.6、GPT-OSS-120B 等 6 个
摘要论文证实持久工件与内存可形成跨智能体传播链，揭示了将共享工件纳入安全防线的重要意义。
该论文系统研究并量化了通过共享持久工件在具有独立私有内存的 LLM 智能体之间发生自传播的“工件介导传播”攻击风险。
- 防御arXiv 2608.05578
AMS 工具通过激活分析检测语言模型的安全训练改动
提出 AMS，用激活分离与方向相似度检测安全训练改动
- arXiv
- 2608.05578
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Llama-3.1-8B-Instruct、Llama-3.2-3B-Instruct、Llama-3.2-1B-Instruct 等 14 个
摘要AMS 按激活签名把安全改动分四类，前三类可由两级扫描覆盖，行为微调会漏。
AMS 是面向开放权重模型、部署前使用的激活扫描器，用来看安全训练被拿掉或改写之后，激活空间里还留着什么几何痕迹。
- 防御arXiv 2609.05797
论文发现安全监控器主要拦截模型本就会拒答的请求
评估安全监视器并提出双侧梯级微调以减少会答有害请求的漏检
- arXiv
- 2609.05797
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 测试
- Gemma-4-31B-IT、Qwen3-32B、Llama Guard 3 8B 等 6 个
摘要论文发现安全监视器大多拦截模型已拒答请求，指出明确度偏差是共性原因，并通过双侧梯级微调提升回答请求的召回表现。
- 防御arXiv 2609.04665
HackProbe：面向自演化语言模型奖励作弊的黑盒检测与免疫方法
提出 HackProbe，黑盒检测并免疫自演化中的奖励作弊
- arXiv
- 2609.04665
- 发表
- 场景
- 模型与 API
- 测试
- Qwen2.5-7B-Instruct
摘要黑盒探针检测自演化奖励黑客，并以带宽受限重选回收真实能力。
HackProbe 是挂在自演化循环上的黑盒监控器，用来发现奖励黑客并改选候选。
- 防御arXiv 2610.00450
ZoneClaw 用记忆分区防御 OpenClaw 式计算机使用 Agent 的持久记忆攻击
提出 ZoneClaw，用信任区隔离计算机使用 Agent 的持久记忆权限
- arXiv
- 2610.00450
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- Claude Sonnet 4.6、GPT-5.5、GLM-5.2 等 4 个
- 评测与基准arXiv 2608.18066
Salesforce AI Research 重测自改进 Agent
重测记忆型自改进智能体，揭示任务顺序和多次运行带来的性能不稳
- arXiv
- 2608.18066
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- GPT-5-mini、Gemini-2.5-Pro、GPT-OSS-120B 等 4 个
- 组件记忆
摘要论文揭示了基于记忆的自改进智能体在多次运行和乱序下的脆弱性，并指出规约不完备是诱发退化的关键瓶颈。
这篇论文是对基于文本记忆的自我改进智能体在复杂环境中评估可靠性的实证研究。
- 风险行为arXiv 2608.10218
研究者用进化算法构造多智能体 LLM 系统中的自我传播“思维病毒”
用演化算法构造思维病毒并测量其在多智能体中的传播
- arXiv
- 2608.10218
- 发表
- 层
- 应用层
- 测试
- Claude Haiku 4.5、Claude Sonnet 4.6、Claude Opus 4.6 等 9 个
- 攻击arXiv 2609.15989
研究者提出 plan injection 攻击，可绕过思维链监控
提出 plan injection 攻击，植入良性伪装计划以绕过思维链监视器
- arXiv
- 2609.15989
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 灰盒
- 测试
- Qwen2.5-Coder-7B-Instruct、Qwen3-8B、DeepSeek-R1-0528 等 6 个
摘要论文指出模型会将外部上下文中的伪装计划改写为自身推理，使思维链监视器失效甚至反向合理化恶意行为。
- 其他arXiv 2609.22720
残障披露如何在对话式 AI 中流动：ChatGPT、Claude、Gemini 的记忆、隐私与语境完整性
访谈残障成人，分析向记忆型助手披露残障时的信息流与语境完整性
- arXiv
- 2609.22720
- 发表
- 层
- 应用层
- 场景
- 模型与 API
- 组件记忆
- 其他arXiv 2610.00812
视频生成模型的后训练与对齐综述
综述视频生成的后训练与对齐，并汇总基准与开放挑战
- arXiv
- 2610.00812
- 发表
- 场景
- 模型与 API
- 测试
- Wan、HunyuanVideo、OpenSora 等 8 个
- 组件图像生成
摘要综述把视频后训练分成四类对齐信号，并指出奖励、长视频、权衡和安全仍开放。
这是一篇视频生成 后训练与对齐 综述：预训练模型已有强先验，但作者认为仍不能可靠遵循意图、维持时间连贯或满足物理与安全约束。
- 分析与理论arXiv 2609.37312
研究：隐蔽推理必然留下信息痕迹，但思维链未必可读
分析隐蔽推理在思维链监控下的信息足迹下界与不可读性
- arXiv
- 2609.37312
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct、Qwen 3.5 397B-A17B 等 12 个
摘要论文从理论与实证探明了思维链监控的边界：复杂隐蔽计算必然泄露信息足迹且需承担长度税，但该足迹可被在线加密而不可读。
- 防御arXiv 2610.00780
TAILOR：面向图像水印的组合方案定制框架
提出 TAILOR，按请求组合图像水印以满足抗攻击与画质延迟规格
- arXiv
- 2610.00780
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- VINE、TrustMark、VideoSeal 等 5 个
- 防御arXiv 2610.01969
RASteer：面向扩散模型概念擦除的保留感知激活引导方法
提出 RASteer，推理时按保留子空间校正激活以擦除文生图目标概念
- arXiv
- 2610.01969
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Stable Diffusion v1.4、Stable Diffusion v1.5、Stable Diffusion v2.1 等 4 个
摘要RASteer 用保留子空间校正擦除方向，在固定权重下同时压低目标并保住保留概念。
Retain-aware Activation Steering（RASteer） 是一种不改权重的推理时概念擦除方法，用于文生图扩散模型去掉指定概念并减少对保留概念的误伤。