攻击arXiv 2610.11932
复旦团队测量 AI 搜索引用脆弱性：普通发帖可进入引用与答案文本
测量 AI 搜索引用脆弱性，证明普通公开发帖可进入引用与回答
- arXiv
- 2610.11932
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- Grok、Doubao、ChatGPT 等 10 个
摘要作者称论文量化了 AI 搜索因引用偏好与低发帖门槛形成的漏洞，测试显示公开网络发帖可渗透 AI 引用，呼吁审计引用供应链。
全部论文
另有 194 篇论文还没打上分类标签，暂不在筛选结果里。
- 攻击arXiv 2610.11112
EpiReal-Bench：商用图像生成模型虚假声明红队基准
构建 EpiReal-Bench，评测图像生成器将虚假主张渲染为可信证据
- arXiv
- 2610.11112
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 被测模型
- GPT-Image-2、Nano Banana 2、Grok Imagen 2.0 等 4 个
摘要四款商用图像模型能把假主张画成可信证据。
EpiReal-Bench 用来量商用图像生成器会不会把虚假现实主张画成可信视觉证据。
- 攻击arXiv 2610.10000
超越奖励压制：有界奖励热启动 Bandit 的近最优离线攻击
提出热启动 Bandit 的部署前有界离线注入攻击
- arXiv
- 2610.10000
- 发表
- 场景
- LLM 应用
- 被测模型
- UCB、Thompson Sampling、ϵ-greedy
- 攻击投毒与后门
- 攻击arXiv 2610.09708
研究者提出利用祖先 VLM 的黑盒对抗补丁攻击，可降低 VLA 任务成功率
提出利用祖先 VLM 优化对抗补丁，使已部署 VLA 任务失败
- arXiv
- 2610.09708
- 发表
- 层
- 提示层
- 场景
- 具身与机器人
- 被测模型
- OpenVLA、UniVLA、π0.5
- 攻击arXiv 2610.09264
研究者提出 PackHallu：经规则文件提示注入对编码 Agent 发起包幻觉攻击
提出 PackHallu，经规则文件提示注入诱导编码 Agent 换用攻击者指定包
- arXiv
- 2610.09264
- 发表
- 层
- 应用层
- 被测模型
- Qwen2.5-Coder-7B、Qwen3-Coder-30B、Devstral-Small-2-24B 等 19 个
摘要PackHallu 诱导规则文件换包。
PackHallu 研究一种针对编程智能体规则文件的提示注入：让智能体在本应使用合法依赖时，改导入攻击者指定并控制的包。
- 攻击arXiv 2610.09027
P-VMI：对抗图像经 KV cache 持续影响多轮对话
提出持久视觉记忆注入，使对抗图像经缓存在触发时操控输出
- arXiv
- 2610.09027
- 发表
- 场景
- 模型与 API
- 被测模型
- Qwen3-8B、Qwen3-VL-8B-Instruct、Gemma-4-12B
摘要论文提出 P-VMI，证实对抗输入被掩蔽后仍可经 KV 缓存持久控制模型，强调了保留状态的安全风险。
- 攻击arXiv 2610.08331
STCA：研究者提出针对自动驾驶视频 VLM 的时空一致性对抗攻击
提出 STCA，对驾驶视频 VLM 构造可迁移的时空对抗扰动
- arXiv
- 2610.08331
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 无盒（离线迁移）
- 被测模型
- Video-LLaVA-7B、Qwen2.5-VL-7B、Dolphins
- 攻击arXiv 2610.07645
SkillPoison：用成功经验投毒自进化 Agent 的技能形成
提出 SkillPoison，用局部有效的成功经验诱导自进化 Agent 形成过度泛化技能
- arXiv
- 2610.07645
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- deepseek-v4-flash、Qwen V3.8 Flash、GPT-5.5
摘要SkillPoison 通过局部有效且验证成功的经验诱导技能过度泛化，在多个评测基准上实现了持久的下游攻击影响。
SkillPoison 提出了一种针对自进化智能体经验到技能形成过程的攻击范式，通过组织已验证的成功经验诱导技能过度泛化。
- 攻击arXiv 2610.07323
ATLAS：用自适应信任域与主动学习搜索潜在对抗样本集
提出 ATLAS 用水平集估计恢复黑盒分类器的对抗输入集合
- arXiv
- 2610.07323
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 被测模型
- LeNet5、ResNet50 (CIFAR-10 standard)、ResNet50 (ImageNet standard) 等 5 个
摘要ATLAS 用主动水平集估计构造黑盒对抗集，作者称其集合比单点攻击更具代表性。
ATLAS 是一个查询式 black-box 框架，用来构造诱发失败的对抗输入集合，供鲁棒性审计使用。
- 攻击arXiv 2610.06049
研究者提出仅修改 SAE 解码器的后门攻击，可在不改动语言模型的情况下植入行为
提出只改 SAE 解码器的后门，在冻结语言模型上植入代码插入
- arXiv
- 2610.06049
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Gemma 3 4B Instruct、Qwen3 1.7B、Llama 3.1 8B Instruct
摘要只改解码器的 SAE 可带上代码插入后门，且若干常规质量指标变化不大。
只改 SAE 解码器、冻结编码器与语言模型，即可把代码插入行为放进推理时的辅助组件。作者把这视为 SAE 供应链问题：checkpoint 一旦替换某一层激活，就参与后续计算，而不只是解释工具。
- 攻击arXiv 2610.05894
研究者提出闭环偏见注入攻击
提出闭环激活引导，在扩散语言模型去噪过程中注入定向偏见
- arXiv
- 2610.05894
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 攻击者
- 灰盒
- 被测模型
- LLaDA-8B-Instruct、Dream-v0-Instruct-7B、LLaDA-MoE-7B-A1B-Instruct
摘要通过去噪中间概率反馈动态调节残差流转向，证明扩散语言模型在推理服务栈中存在闭环偏见注入脆弱性。
- 攻击arXiv 2610.05793
研究者训练出按多智能体拓扑触发的代码后门模型
提出拓扑条件后门，使代码模型在推断多智能体部署时植入漏洞
- arXiv
- 2610.05793
- 发表
- 被测模型
- Qwen2.5-7B-Instruct、Qwen2.5-Coder-7B-Instruct
摘要论文证实了拓扑条件后门的可训练性与泛化性，展示了常规评测盲区，并提出差异化拓扑审计作为检测防御方向。
- 攻击arXiv 2610.05266
论文披露主动式智能体的服务方间接提示注入攻击
提出服务方间接提示注入，把主动智能体的决策协助转向预选目标
- arXiv
- 2610.05266
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- GPT-5、Claude Opus 4.6、Gemini 3 Pro 等 7 个
- 攻击提示注入
摘要提供者侧间接注入用 T–B–S 把主动协助转向外部目标，并在三环境中提高模拟用户授权。
外部提供者只控制与自身目标关联的内容，就可以把良性主动个人智能体的协助转向该目标。
- 攻击arXiv 2610.05139
研究揭示代码注释中的上下文注入攻击面
提出推理时上下文注入，用代码注释诱导补全生成含弱点的代码
- arXiv
- 2610.05139
- 发表
- 层
- 提示层
- 被测模型
- StarCoderBase、DeepSeek-Coder-base、Qwen2.5-base 等 10 个
- 攻击提示注入
- 攻击arXiv 2610.04985
研究揭示 Jev 作为应用决策层的安全与隐私风险
评估应用决策层的输入注入与隐私推断风险
- arXiv
- 2610.04985
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- Jev、NanoJev
摘要Jev 的类型化决策可被输入与训练操纵，也会泄露信息，并同时支持检测与滥用。
Jev 是 TypeSafe 的 System One 模型，把应用 state 和固定问题变成 Choice、Noul 或 Score 的类型化决策与概率。作者用官方 API 和可改训练的 NanoJev，考察它作为决策层时的操纵、泄露与双重用途。
- 攻击arXiv 2610.06977
IAU-FOA：面向闭源多模态大模型的可迁移对抗攻击方法
提出 IAU-FOA，构造可迁移图像扰动以诱导多模态模型输出目标语义
- arXiv
- 2610.06977
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 被测模型
- Qwen2.5-VL-7B、Qwen2.5-VL-72B、InternVL3-14B 等 17 个
- 攻击arXiv 2610.03857
研究者提出 EviLLM 攻击：通过被入侵账号向 AI 代码生成流程注入漏洞
提出 EviLLM，经账户指令或插件向代码生成流程注入漏洞
- arXiv
- 2610.03857
- 发表
- 层
- 应用层
- 被测模型
- GPT-4o、Llama 3.2 (3B)
- 攻击arXiv 2610.03430
JIL：通过对抗后缀操纵 LLM 请求调度优先级
提出 JIL 对抗后缀，压低长度预测以抬高请求调度优先级
- arXiv
- 2610.03430
- 发表
- 场景
- 模型与 API
- 被测模型
- Llama-3-8B-Instruct、Qwen2.5-7B-Instruct、Mistral-7B-Instruct-v0.3 等 4 个
- 技术梯度与表征优化
摘要JIL 用对抗后缀压低长度预测，在预测式 LLM 调度中提高自身优先级。
JIL 是对预测式 LLM 调度的攻击：用对抗后缀压低长度预测，使请求在 SRPT 式队列里更早得到服务。
- 攻击arXiv 2610.03166
LiBRA：通过双向隐空间优化实现检测感知的图像水印去除
提出 LiBRA，在潜空间双向优化以规避图像水印双侧检测
- arXiv
- 2610.03166
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 攻击者
- 白盒
- 被测模型
- Stable Signature、YU1、HiDDeN 等 4 个
摘要LiBRA 用双向潜空间优化规避双侧水印检测，并提高相对反转基线的保真。
- 攻击arXiv 2610.02432
论文提出 LLM 输入扰动鲁棒性度量，并发布 ASA 攻击与 AttestMCP 防护
提出 ASA 与 AttestMCP，度量并降低 LLM 对输入序列扰动的敏感
- arXiv
- 2610.02432
- 发表
- 层
- 应用层
- 攻击者
- 黑盒
- 被测模型
- Gemma-3-27B-Instruct、Gemma-3-4B-Instruct、Llama-3.2-3B-Instruct 等 12 个