攻击arXiv 2608.04741
LoginTrap：针对 LLM Web Agent 的任务无关钓鱼式间接提示注入攻击
提出 LoginTrap，用网页弹窗实施任务无关钓鱼式间接提示注入并窃取敏感信息
- arXiv
- 2608.04741
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- GPT-4o、Gemini 3 Flash、Claude Sonnet 4 等 7 个
摘要揭示网络智能体在黑盒网页下的登录诱导风险，利用模糊测试生成话术并跨骨干和架构验证了隐私泄露威胁。
全部论文
另有 648 篇论文还没打上分类标签，暂不在筛选结果里。
- 攻击arXiv 2610.09819
FAB 攻击：给 HuBERT/WavLM 植入后门，背景警笛声即可让下游语音任务失灵
提出 FAB 攻击，向声学基础模型植入可由环境声触发的后门
- arXiv
- 2610.09819
- 发表
- 场景
- 模型与 API
- 测试
- HuBERT-base、WavLM-base
摘要论文提出了针对声学基模的 FAB 后门攻击，在弱威胁模型下实现了任务无关、物理可触发的后门植入。
- 评测与基准arXiv 2610.08871
CredLeak-Bench
提出 CredLeak-Bench，评测 Agent 在钓鱼登录与收件箱中的凭据泄露
- arXiv
- 2610.08871
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- Claude Sonnet 5、Claude Opus 4.8、Gemini 3.6 Flash 等 7 个
- 攻击提示注入
- 评测与基准arXiv 2610.10276
PatchBench 提出激活补丁局部评测协议，揭示越狱修复的附带损伤
提出 PatchBench-Local 协议，评测激活补丁修复越狱的局部附带损伤
- arXiv
- 2610.10276
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Qwen2.5-3B-Instruct、Qwen2.5-14B-Instruct、gemma-3-4b-it 等 8 个
摘要论文提出 PatchBench 与局部评估协议，揭示了激活补丁在全局能力无损下仍存局部良性退化。
- 攻击arXiv 2610.06848
TranScope：利用 CPU 性能计数器对 Transformer 做成员推断攻击
提出 TRANSCOPE，用 CPU 硬件计数器推断训练集成员
- arXiv
- 2610.06848
- 发表
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 测试
- BERT (4.4M-340M)、ViT (22M-307M)、Pythia (70M-2.8B) 等 5 个
摘要TRANSCOPE 揭示了分词器在嵌入表引发的硬件访问局部性差异，证实微架构计数器可突破恒定时间与置信度遮蔽防御。
- 攻击arXiv 2610.01365
ReGap：无需真实隐私数据即可通过微调重新提取模型隐私关联
提出 ReGap，用自生成伪监督微调恢复模型中的隐私关联
- arXiv
- 2610.01365
- 发表
- 场景
- 模型与 API
- 测试
- GPT-2 Small、GPT-2 Medium、GPT-2 Large 等 6 个
摘要提出无真实私有监督的恢复攻击 ReGap，实验显示微调可通过自生成数据唤醒模型潜在隐私关联，突显后适应隐私风险。
- 攻击arXiv 2609.04382
研究揭示 split-LLM 训练中返回梯度泄露真实行，前向隐私门仍通过
揭示拆分训练返回梯度以零支撑暴露诱饵行并泄露训练内容
- arXiv
- 2609.04382
- 发表
- 场景
- 模型与 API
- 攻击者
- 白盒
- 测试
- Qwen3-0.6B、35B-A3B
- 攻击提取与窃取
摘要论文揭示拆分训练中反向梯度零支撑完全暴露诱饵行，联合视图突破门控，裁剪加噪可有效缓解。
这是一项关于双节点大语言模型拆分训练系统的系统安全案例研究，揭示了评估工具遗漏反向信道所导致的静默隐私失效。
- 攻击arXiv 2608.09867
研究者利用加密推理块跨模型兼容性窃取专有 LLM 推理链
利用加密思维块的跨模型重放，诱导弱模型逐字转写专有推理链
- arXiv
- 2608.09867
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 测试
- Claude Opus 4.8、Claude Sonnet 4.6、Claude Haiku 4.5 等 15 个
摘要论文揭示了客户端加密思维块跨模型互换漏洞，提出了低成本提取方法并给出防御方案。
- 评测与基准arXiv 2609.35312
MemoReason 基准
提出 MemoReason 基准，测量参数记忆对上下文推理的影响
- arXiv
- 2609.35312
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- GPT-OSS-20B、GPT-OSS-120B、OLMo-3-7B-Think 等 9 个
摘要配对的虚构替换显示熟悉度影响推理，但模型很少直接抄回事实答案。
MemoReason 用结构相同的事实–虚构文档配对，测量参数记忆如何影响大模型的上下文推理。
- 分析与理论arXiv 2609.33898
研究揭示训练效率与模型脆弱性的权衡：高效训练更易受对抗与隐私攻击
比较高效与高成本训练的对抗和隐私脆弱性并分析损失几何
- arXiv
- 2609.33898
- 发表
- 场景
- 模型与 API
- 测试
- ResNet-18、Swin Transformer、Qwen2.5-Math-7B-Instruct 等 7 个
- 攻击提取与窃取
摘要效用匹配下，三种高效训练都伴随更高的隐私与对抗脆弱性及更尖的损失几何。
作者在视觉分类和数学推理语言模型上，检查用更少数据或更简对齐换取训练效率时，安全性质是否一起变化。比较在任务效用接近的前提下进行。视觉侧用 KNN-Shapley 的高重要性小子集对照低重要性大子集，并用预训练微调对照从头训练。
- 评测与基准arXiv 2608.18066
Salesforce AI Research 重测自改进 Agent
重测记忆型自改进智能体，揭示任务顺序和多次运行带来的性能不稳
- arXiv
- 2608.18066
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- GPT-5-mini、Gemini-2.5-Pro、GPT-OSS-120B 等 4 个
- 组件记忆
摘要论文揭示了基于记忆的自改进智能体在多次运行和乱序下的脆弱性，并指出规约不完备是诱发退化的关键瓶颈。
这篇论文是对基于文本记忆的自我改进智能体在复杂环境中评估可靠性的实证研究。
- 防御arXiv 2607.13336
TC-UAP：针对图像转视频与微调定制的通用视频保护方法
提出 TC-UAP，用身份级多帧扰动保护视频免被定制复现身份
- arXiv
- 2607.13336
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 测试
- LTX-2.3、Wan2.2-5B
- 组件视频
摘要TC-UAP 以可复用的时间一致扰动干扰两类定制共用的 VAE 隐空间。
作者要解决的是：发布前如何给视频加不可见扰动，使片段既不能被拿去微调视频扩散模型，也不能被抽帧做 image-to-video。
- 其他arXiv 2609.22720
残障披露如何在对话式 AI 中流动：ChatGPT、Claude、Gemini 的记忆、隐私与语境完整性
访谈残障成人，分析向记忆型助手披露残障时的信息流与语境完整性
- arXiv
- 2609.22720
- 发表
- 层
- 应用层
- 场景
- 模型与 API
- 组件记忆
- 防御arXiv 2609.37858
存储不等于策略：面向 LLM 遗忘的状态条件支持控制
提出 Intervention Score 与 DIR-R，按干预效果选择并修订遗忘参数支持
- arXiv
- 2609.37858
- 发表
- 场景
- 模型与 API
- 测试
- Llama 3 8B、Gemma 2 2B、Qwen2.5-7B 等 4 个
摘要作者把局部化遗忘拆成初始干预选择和检查点修订，并在三个设置里分别给证据和边界。
Storage Is Not Strategy 研究局部化 LLM 遗忘里两个常被混在一起的决定：一开始该更新哪些参数，以及优化改变模型之后这个选择要不要改。
- 评测与基准arXiv 2610.01428
SAGO：从稳定性而非准确率出发的多维度大模型泛化评测
提出 SAGO，以语义等价变体上的逐例行为稳定性评测大模型泛化
- arXiv
- 2610.01428
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Llama-3.2-3B-Instruct、Llama-3.1-8B-Instruct、Gemma-2B-IT 等 11 个
摘要SAGO 用多轴逐例稳定性替代聚合准确率，十一个模型都未均匀泛化，且排名会随数据集改变。
SAGO 把 LLM 泛化改写成同一目标与上下文在语义等价表达下的逐例行为稳定性，而不是单一基准上的聚合准确率。。
- 防御arXiv 2609.40286
研究者提出 COVER：在语言预算下选择源语言实现跨语言遗忘
提出 COVER，在语言预算下选择源语言实现跨语言知识遗忘
- arXiv
- 2609.40286
- 发表
- 场景
- 模型与 API
- 测试
- Tiny Aya Global、Qwen3-4B-Instruct-2507、Llama-3.2-3B-Instruct
摘要COVER 在语言预算下选源语言，以降低未监督语言上相对 oracle 的残余访问。
语言预算下的多语言遗忘：遗忘监督只放在 K 种源语言上，目标是降低其余语言对同一事实的残余访问，而不是把每种评测语言都译成监督数据。
- 分析与理论arXiv 2609.40295
一个 AI token 值多少？研究者为野生 AI 生成网页文本提出新缩放定律
提出预训练缩放律，估计野生 AI 网页文本相当于多少人类 token
- arXiv
- 2609.40295
- 发表
- 场景
- 模型与 API
- 测试
- nanochat 19.9M、35.8M、86.2M 等 7 个
摘要wild AI 文本对数据不足的模型先降损失，对高人类预算几乎立刻升损失。
作者测量未标注的 wild AI 网页文本对预训练的影响，并提出一个能让 AI token 价值变号的缩放律。
- 防御arXiv 2609.27399
GUARD：在 CosyVoice2 上做说话人身份遗忘以阻止重识别
提出 GUARD，在零样本 TTS 上用激活转向遗忘说话人身份以阻止再识别
- arXiv
- 2609.27399
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- CosyVoice2-0.5B、F5-TTS、FireRedTTS
摘要GUARD 用门控激活转向把退出说话人推向冒充相似度，以抑制再识别并保住音质。
GUARD 用门控激活转向做说话人身份遗忘，使零样本 TTS 对退出说话人难以再识别。
- 防御arXiv 2609.31056
SCALPEL：用对比稀疏自编码器实现选择性表征层遗忘
提出 SCALPEL，用对比 SAE 在表征层选择性遗忘特定事实
- arXiv
- 2609.31056
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Qwen2.5-1.5B-Instruct、Llama-3.2-1B-Instruct、Gemma-2-2B-it
摘要SCALPEL 以对比稀疏特征做窄目标表征遗忘，在 TOFU 上与优化基线相当且可检查。
SCALPEL 是不改基座权重的表征层遗忘方法，面向与保留数据重叠的窄目标。
- 评测与基准arXiv 2609.08256
ACEA：面向红蓝队对抗的 LLM 协同演化测试平台
提出红蓝对抗评测平台 ACEA，分开计量攻击强度与防御效果
- arXiv
- 2609.08256
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 测试
- openai/gpt-4o、google/gemini-2.5-pro、google/gemma-3-27b-it 等 5 个
摘要ACEA 用 ASAP 让红蓝对同一目标对打。
ACEA 是让可插拔红队和蓝队共享一个目标 LLM 的对打场地，把攻击强度和防御效果分开记分。作者要补三处空缺：双方只能对着固定对手分开练。LLM judge 分不清真实泄露和幻觉，拦截后又看不到攻击有多强。