攻击arXiv 2610.11932
复旦团队测量 AI 搜索引用脆弱性：普通发帖可进入引用与答案文本
测量 AI 搜索引用脆弱性，证明普通公开发帖可进入引用与回答
- arXiv
- 2610.11932
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- Grok、Doubao、ChatGPT 等 10 个
摘要作者称论文量化了 AI 搜索因引用偏好与低发帖门槛形成的漏洞，测试显示公开网络发帖可渗透 AI 引用，呼吁审计引用供应链。
- 防御arXiv 2610.11634
LTBD：用可学习信任边界分隔符防御提示注入
提出 LTBD，用可学习分隔符隔离可信指令与不可信数据
- arXiv
- 2610.11634
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- Llama3-8B-Instruct、Llama3.1-8B-Instruct、Falcon3-7B-Instruct 等 4 个
摘要LTBD 只训练四个分隔符嵌入。
LTBD 是一种不改基座权重的提示注入防御：只学习用来标出可信指令与不可信数据边界的四个 token 嵌入。
- 攻击arXiv 2610.05793
研究者训练出按多智能体拓扑触发的代码后门模型
提出拓扑条件后门，使代码模型在推断多智能体部署时植入漏洞
- arXiv
- 2610.05793
- 发表
- 被测模型
- Qwen2.5-7B-Instruct、Qwen2.5-Coder-7B-Instruct
摘要论文证实了拓扑条件后门的可训练性与泛化性，展示了常规评测盲区，并提出差异化拓扑审计作为检测防御方向。
- 防御arXiv 2609.21088
Provenance-Aware Transformers：用来源感知架构分离可信边界以防御间接提示注入
提出 Provenance-Aware Transformers，隔离不可信来源防御间接提示注入
- arXiv
- 2609.21088
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- SmolLM2-360M-Instruct、LLaMA-3-8B-Instruct、Qwen2.5-7B-Instruct 等 4 个
- 攻击arXiv 2609.19722
ALIBI：向二进制注入虚假安全叙事可让 LLM 恶意软件分析器误判
提出 ALIBI，向恶意二进制注入不执行掩护叙事使分析器误判为良性
- arXiv
- 2609.19722
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 攻击者
- 黑盒
- 被测模型
- Gemini 2.5 Pro、GPT-5.5 Pro、Claude Opus 4.7
摘要ALIBI 用二进制内的掩护叙事重释可疑静态证据，Gemini 上翻转多，另两模型主要为降级。
ALIBI 是针对 LLM 恶意软件分诊的语义掩护叙事攻击：不覆盖系统指令，而把仍可见的可疑静态证据重释成良性安全产品的预期行为。
- 防御arXiv 2609.08394
Windows 恶意软件检测器作为复合 AI 系统：准确率、效率与对抗鲁棒性的权衡
提出 OBELISK 三级流水线，权衡恶意软件检测的准确率、开销与鲁棒性
- arXiv
- 2609.08394
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- GBDT-ALL、GBDT-YARA、NEBULA-ALL 等 4 个
摘要三级过滤以不大的检测损失换速度，同一机制扩大攻击面，部署应按约束选配置。
OBELISK 把 Windows PE 恶意软件检测做成 YARA、EMBER-GBDT 与 Nebula 的顺序流水线，用来同时看检出、计算开销和对抗鲁棒性。
- 评测与基准arXiv 2609.02316
Counter-GEO-Bench：现有护栏难挡 GEO 虚假信息
构建 COUNTER-GEO-BENCH，评测生成式搜索中的 GEO 虚假信息防御
- arXiv
- 2609.02316
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- Gemma-4-31B-IT、Qwen-3.5-35B-A3B、Llama-4-Scout-17B-16E 等 8 个
摘要论文构建了针对 GEO 虚假信息的首个防御基准，揭示通用护栏的失效与反作用，并提出了有效的轻量对比检测基线。
- 评测与基准arXiv 2608.28411
LongPIBench：面向长上下文提示注入的评测基准
提出 LongPIBench，评测长文档场景下的提示注入攻击与防御
- arXiv
- 2608.28411
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- Llama-3.1-8B-Instruct、Llama-3.2-3B-Instruct、Apertus-8B-Instruct 等 11 个
- 攻击提示注入
摘要论文构建长文本提示注入基准 LongPIBench，揭示启发式与优化攻击在长文档中的高有效性及现有防御的大幅失效。
- 评测与基准arXiv 2608.16824
GEO-Flag：检测与测量面向生成式引擎优化的网页内容
提出 GEOFlagBench 与 IPT，检测并测量生成式引擎优化网页
- arXiv
- 2608.16824
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- ModernBERT-base、Qwen3-0.6B、Gemini-3.5-flash 等 11 个
摘要GEOFlagBench 与 IPT 用于检测 GEO 页，并估计真实检索中的占比与引用可核验性。
GEO-Flag 把页面级 GEO 检测做成可评测任务，并在发布的检索结果上估计被判为 GEO 的页面占比。
- 攻击arXiv 2608.04565
研究者提出 Breadcrumbing 长程攻击，可劫持 DeepResearch 类搜索 Agent 的证据链
提出权威链劫持与轨迹引导策略演化，劫持搜索 Agent 的证据链
- arXiv
- 2608.04565
- 发表
- 层
- 应用层
- 被测模型
- Qwen3.5-9B、Gemma4-31B、DeepResearch 等 7 个
摘要论文揭示了多步搜索智能体在受限中间人操纵下的脆弱性，提出 ACH 策略与 TGSE 演化方法并完成系统验证。
- 攻击arXiv 2606.13044
研究者提出对抗性重新包装：不改科学内容仅调整表述即可拉高 AI 审稿分数
提出对抗重构，仅改表述以拉高 AI 审稿分数
- arXiv
- 2606.13044
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- Claude Sonnet 4、Claude Sonnet 4.5、GPT-5-mini
摘要揭示 AI 审稿系统易受纯表述重构操纵，建议在部署前解耦科学与写作评价。
- 攻击arXiv 2606.12716
PaperGuard：针对多模态 AI 同行评审的攻击与防御基准
提出 PaperGuard，用图文注入与梯度扰动抬高自动审稿分数并检测恶意指令
- arXiv
- 2606.12716
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- Claude-sonnet-4.5、GPT-4o、GPT-4.1 等 11 个
摘要PaperGuard 测到提示注入与白盒视觉抬分，并比较分块检索防御。
PaperGuard同时评测并检测多模态 AI 审稿中的评分操纵。
- 攻击arXiv 2605.24421
研究者提出日志型提示注入攻击，可抑制 SOC 中 LLM 分析助手的恶意日志识别
提出日志基底提示注入，操纵 SOC 分析员的分类、摘要与处置建议
- arXiv
- 2605.24421
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- gpt-4o-mini
摘要在 gpt-4o-mini 上，人格劫持与上下文操纵可改写 SOC 分析输出，直接覆盖在分类上无效。
- 攻击arXiv 2508.19287
Prompt-in-Content 攻击：利用上传输入劫持 LLM 行为
提出 prompt-in-content 攻击，用上传文档指令劫持摘要
- arXiv
- 2508.19287
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- ChatGPT 4o、Claude Sonnet4、Gemini 2.5 Flash 等 7 个
- 攻击提示注入
摘要文档内单条指令可劫持网页端摘要任务，七个平台的拦截并不一致。
prompt-in-content 攻击把指令放进会被上传的文件，使用户的普通文档任务变成触发器。
已经到底了