评测与基准arXiv 2605.21545
RefusalBench：拒答率为何会误排前沿 LLM 在生物研究提示上的安全水平
提出 RefusalBench，评测生物研究提示上的拒答率与安全校准
- arXiv
- 2605.21545
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Claude Opus 4.7、Claude Opus 4.6、Claude Opus 4.5 等 15 个
- 风险拒答失当
全部论文
另有 441 篇论文还没打上分类标签，暂不在筛选结果里。
- 攻击arXiv 2608.25776
EvoMal 攻击利用自我进化编码 Agent 的自我投毒实现蠕虫式传播
提出 EVOMAL 攻击，诱导编码 Agent 自我投毒并蠕虫式传播技能
- arXiv
- 2608.25776
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Devstral-Small-2、Gemma-4-31B-IT、Qwen3-Coder-Next 等 7 个
摘要论文指出了自演化智能体模仿检索代码的自我毒化漏洞，提出 EVOMAL 攻击与防御，阐明了供应链新风险。
- 攻击arXiv 2608.04741
LoginTrap：针对 LLM Web Agent 的任务无关钓鱼式间接提示注入攻击
提出 LoginTrap，用网页弹窗实施任务无关钓鱼式间接提示注入并窃取敏感信息
- arXiv
- 2608.04741
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- GPT-4o、Gemini 3 Flash、Claude Sonnet 4 等 7 个
摘要揭示网络智能体在黑盒网页下的登录诱导风险，利用模糊测试生成话术并跨骨干和架构验证了隐私泄露威胁。
- 攻击arXiv 2610.09819
FAB 攻击：给 HuBERT/WavLM 植入后门，背景警笛声即可让下游语音任务失灵
提出 FAB 攻击，向声学基础模型植入可由环境声触发的后门
- arXiv
- 2610.09819
- 发表
- 场景
- 模型与 API
- 测试
- HuBERT-base、WavLM-base
摘要论文提出了针对声学基模的 FAB 后门攻击，在弱威胁模型下实现了任务无关、物理可触发的后门植入。
- 评测与基准arXiv 2610.08871
CredLeak-Bench
提出 CredLeak-Bench，评测 Agent 在钓鱼登录与收件箱中的凭据泄露
- arXiv
- 2610.08871
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- Claude Sonnet 5、Claude Opus 4.8、Gemini 3.6 Flash 等 7 个
- 攻击提示注入
- 评测与基准arXiv 2610.10276
PatchBench 提出激活补丁局部评测协议，揭示越狱修复的附带损伤
提出 PatchBench-Local 协议，评测激活补丁修复越狱的局部附带损伤
- arXiv
- 2610.10276
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Qwen2.5-3B-Instruct、Qwen2.5-14B-Instruct、gemma-3-4b-it 等 8 个
摘要论文提出 PatchBench 与局部评估协议，揭示了激活补丁在全局能力无损下仍存局部良性退化。
- 攻击arXiv 2610.07510
PersistBD：攻击者可在发布前强化后门，使其在开发者 SFT 与 RL 后仍保持高攻击成功率
提出 PERSISTBD，发布前强化后门以穿透良性 SFT 与 RL
- arXiv
- 2610.07510
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Qwen2.5-Coder-3B-Instruct、Qwen2.5-Coder-7B-Instruct、Qwen3-Coder-30B-A3B-Instruct
摘要总结了论文关于后门在 SFT/RL 中存活的发现、两因子机制、PERSISTBD 方法与核心数字。
本文研究第三方 LLM 智能体在开发者进行良性监督微调（SFT）和强化学习（RL）后训练时的后门持久性风险。
- 防御arXiv 2602.24210
研究者提出 Staged Decoding 与 SFT 数据集，减少大推理模型推理轨迹中的隐私泄露
提出 Staged Decoding 与指令跟随训练，减少推理轨迹隐私泄露
- arXiv
- 2602.24210
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Qwen 3 1.7B、Qwen 3 4B、Qwen 3 8B 等 6 个
摘要用一般指令跟随训练加分段解码，可降低轨迹隐私泄露，但数学效用下降。
本文把大推理模型的隐私问题做成轨迹可控性：隐私指令是指令，轨迹不跟随就会把敏感上下文写进可被提示注入导出的文本。
- 攻击arXiv 2610.05453
研究者提出 Privacy-Leaking Watermarks，可在本地多模态模型中泄露对话隐私
提出 PLW，用微调把先前对话敏感触发编码进后续生成图像
- arXiv
- 2610.05453
- 发表
- 场景
- 模型与 API
- 测试
- OmniGen2、BAGEL-7B
摘要PLW 把先前对话线索写成后续图像中的隐水印，检出随触发、模型和间隔变化。
- 攻击arXiv 2610.06093
研究评测训练数据提取风险的跨语言迁移
用翻译前缀做跨语言训练数据提取，恢复英语训练文本中的 PII
- arXiv
- 2610.06093
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 测试
- GPT-Neo 1.3B、GPT-Neo 2.7B、GPT-J 6B 等 7 个
- 攻击提取与窃取
摘要跨语言 TDE 能恢复英语记忆的 PII，转移随多语训练和措辞保真变化。
这篇工作检验训练数据抽取是否跨语言：英语段落里记住的 PII，能否被其他语言的前缀逐字抽出。
- 攻击arXiv 2610.04128
研究显示拆分学习中的梯度可提升客户端文本重建率
衡量分裂学习中梯度相对激活对客户文本重建的额外贡献
- arXiv
- 2610.04128
- 发表
- 场景
- 模型与 API
- 测试
- GPT-2 (openai-community/gpt2, 124M)、Qwen3-0.6B
- 攻击提取与窃取
摘要激活已恢复大部分 token。
这篇工作测量 split learning 分裂点上的文本泄漏：激活单独能恢复多少，训练回传的梯度再增加多少，以及按 token 还是按整篇计分会不会改写结论。
- 分析与理论arXiv 2610.05076
自生成反馈会破坏测试时训练：长时程适应的因果分解
因果分解自生成反馈如何破坏测试时训练的长时程适应
- arXiv
- 2610.05076
- 发表
- 场景
- 模型与 API
- 测试
- 125M TTT-E2E、760M TTT-E2E、3B TTT-E2E 等 5 个
摘要自写闭环损害真实文本预测。
持久测试时更新若来自模型自己生成的文本，会同时改变模型和后续训练文本。作者在 PG-19 长流上分解这条闭环，并用独立文本决定是否提交更新。
- 攻击arXiv 2610.06848
TranScope：利用 CPU 性能计数器对 Transformer 做成员推断攻击
提出 TRANSCOPE，用 CPU 硬件计数器推断训练集成员
- arXiv
- 2610.06848
- 发表
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 测试
- BERT (4.4M-340M)、ViT (22M-307M)、Pythia (70M-2.8B) 等 5 个
摘要TRANSCOPE 揭示了分词器在嵌入表引发的硬件访问局部性差异，证实微架构计数器可突破恒定时间与置信度遮蔽防御。
- 防御arXiv 2605.17380
Uber 提出 ADR 企业级 Agent 检测系统，在 7200 台主机部署十个月
提出企业级检测系统 ADR，检测编程 Agent 的提示注入与恶意 MCP
- arXiv
- 2605.17380
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- GPT-4o、Claude Sonnet 4、Llama Guard 3-8B 等 4 个
摘要提出了端点因果遥测、两级在线分流与离线红队闭环的 ADR 系统，并在生产环境中验证了有效性。
- 其他arXiv 2610.05831收录
长时程轨迹监督如何影响终端智能体训练的可靠性与成本
提出 selective long-horizon 精炼，筛选长轨迹训练终端智能体
- arXiv
- 2610.05831
- 收录
- 场景
- 编程 Agent
- 测试
- Qwen/Qwen3-8B
摘要中间长度的监督更均衡。
这项工作研究终端智能体模仿学习里，教师轨迹应保留多少 token。
- 防御arXiv 2610.02126
Local Support Learning：无需旧数据缓解 LLM 灾难性遗忘
提出 Local Support Learning，把微调适配器限制在当前数据支撑以缓解遗忘
- arXiv
- 2610.02126
- 发表
- 场景
- 模型与 API
- 测试
- Qwen2.5-7B-Instruct、Qwen2.5-3B-Instruct、Qwen2.5-1.5B-Instruct
- 防御模型加固
摘要LSL 用 GMM 门把适配器限制在当前数据支撑内，以减轻多阶段遗忘。
LSL 是不访问旧数据、在后训练中保持先前能力的框架。
- 防御arXiv 2610.02418
Whiteout：用混淆样本阻止 LLM 泄露个人敏感信息
提出 Whiteout，用伪装样本微调覆盖个人敏感信息关联
- arXiv
- 2610.02418
- 发表
- 场景
- 模型与 API
- 测试
- Llama 3.2、Phi-3-mini、Gemma 3 等 7 个
- 评测与基准arXiv 2610.02986
OLMo-Detect：面向 LLM 成员推断的多阶段混淆控制基准
提出基准 OLMo-Detect 评测 LLM 成员推断
- arXiv
- 2610.02986
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- OLMo 2 1B、OLMo 2 7B、OLMo 2 13B 等 9 个
- 攻击提取与窃取
- 攻击arXiv 2609.18217
研究：跨通道碎片化攻击可绕过 MCP 单通道防御
提出跨通道分段攻击，利用 MCP 隐式信任诱导外发敏感文件
- arXiv
- 2609.18217
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- GPT-4o、GPT-4o-mini、GPT-5.4 等 15 个
摘要论文揭示了 MCP 多通道隐式信任层级，通过跨通道分段与协议级利用突破现有防御，展示了严重的凭证外发风险。
- 防御arXiv 2610.01170
HeadEdit：通过冻结的 unembedding 矩阵校准语言模型行为
提出 HeadEdit，经冻结 unembedding 做随输入变化的 logit 校正
- arXiv
- 2610.01170
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Qwen3-4B、Gemma-3-4B-IT、Llama-3.2-3B-Instruct 等 4 个
摘要低秩 unembedding 校正抬高九个设置的总体准确率，并可部分预测 DPO 更新。
HeadEdit 是一种不更新参数的行为校准方法，作用点是冻结的 unembedding，而不是中间层残差或新的梯度优化。