攻击arXiv 2610.13886
X-AgentRed：在演进的多服务生态中对个人 Agent 进行红队测试
提出 X-AgentRed，用工具依赖图红队个人 Agent 的跨服务未授权伤害
- arXiv
- 2610.13886
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Claude Opus 4.8、GPT-5.6 Sol、DeepSeek-V4-Pro 等4个
- 技术自动化搜索
全部论文
另有254篇论文还没打上分类标签，暂不在筛选结果里。
- 防御arXiv 2610.13733
KVeil：ECCV 2026 LifeGenIP 不可学习视频挑战赛第一名方案
提出 KVeil，对人脸视频加扰动以阻止未授权定制复现身份
- arXiv
- 2610.13733
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 被测模型
- Wan2.2-TI2V-5B、HunyuanVideo-1.5、Kling 3.0 等4个
摘要KVeil 把 LETHE 的参考读取破坏适配到挑战两阶段，榜单 Final 均列第一。
- 攻击arXiv 2610.12292
论文提出选项通道攻击：改一个选项标签即可让 Agent 护栏放行违规操作
提出选项通道攻击，重命名选项标签使 Agent 护栏放行违规操作
- arXiv
- 2610.12292
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 攻击者
- 黑盒
- 被测模型
- LAYA-TD、LAYA-EN、LAYA-ML 等5个
摘要作者评估指出类型化模型不应作为最终安全裁决者，其易受非策略文本与选项名称操控，且置信度过滤无法抵御攻击。
- 评测与基准arXiv 2610.11766
研究提出意图恢复率作为 LLM 安全评测的补充指标
提出 IRIS，用意图恢复率区分遮蔽越狱下无害输出的原因
- arXiv
- 2610.11766
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 被测模型
- GPT-4o、Claude Sonnet 4.5、Claude Opus 4.5 等6个
摘要无害输出的证据权重取决于任务是否被恢复。
IRIS 把意图恢复当作中间信号，用来解释意图遮蔽提示下为何没有出现有害协助。
- 评测与基准arXiv 2610.11112
EpiReal-Bench：商用图像生成模型虚假声明红队基准
构建 EpiReal-Bench，评测图像生成器将虚假主张渲染为可信证据
- arXiv
- 2610.11112
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 被测模型
- GPT-Image-2、Nano Banana 2、Grok Imagen 2.0 等4个
摘要四款商用图像模型能把假主张画成可信证据。
EpiReal-Bench 用来量商用图像生成器会不会把虚假现实主张画成可信视觉证据。
- 攻击arXiv 2610.12524
对 AI Agent 系统攻击的探索
重测并扩展对 AI Agent 的提示注入，并用 Agent Card 欺骗操纵 A2A 选择
- arXiv
- 2610.12524
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Ollama Mistral 0.9.5、llama3-8b-8192、gemini-2.0-flash-lite 等5个
摘要单智能体过滤与分类可被格式或措辞绕过，A2A 选卡还会偏向名称和描述。
作者在自建的 LangChain、AutoGen 和 A2A 系统上重测提示注入，并改 Agent Card 看选择是否偏移。摘要称试验主要凸显单智能体弱点，同时把攻击扩到多智能体。
- 攻击arXiv 2610.10742
BRANCH 方法绕过 6 套多扫描器护栏系统
提出 BRANCH 方法，用分支搜索绕过多扫描器护栏
- arXiv
- 2610.10742
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 攻击者
- 黑盒
- 被测模型
- Meta Llama Guard 3 8B、Meta Llama Guard 7B、Meta Llama Guard 3 1B 等18个
- 攻击arXiv 2610.09973
从期望危害到似然：LLM 智能体越狱的概率重构
提出 OPUR 攻击，用似然梯度优化对抗后缀越狱 LLM 智能体
- arXiv
- 2610.09973
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 攻击者
- 白盒
- 被测模型
- Llama-3.1-8B-Instruct、Ministral-8B-Instruct-2410
- 评测与基准arXiv 2610.09033
研究发布 ASRD 数据集，评测五款开源模型在非规范输入下的安全表现
- arXiv
- 2610.09033
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 被测模型
- Gemma 2 9B、Gemma 3 4B、Llama 3.1 8B 等6个
摘要五模型、七族表面形式的四态评测里，低有害遵从不等于读懂后的安全处理。
ASRD 用四态标签检查五个开源模型如何处理非规范表面上的有害请求。
- 防御arXiv 2610.07657
DEFER1 多智能体防御研究报告受控测试中的攻击成功率下降
实现 DEFER，以确定性检查优先拦截多智能体流水线的内容攻击
- arXiv
- 2610.07657
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 被测模型
- Qwen3-235B-A22B-Instruct-2507、gpt-oss-120b、Llama-4-Scout-17B-16E-Instruct 等5个
摘要DEFER 把确定性检查放在 judge 之前。
DEFER 用来测量多智能体授权流水线里，确定性规则在何处结束、LLM judge 从何处开始。
- 防御arXiv 2610.07532
LADE：用暗知识中的模型无关潜在安全信号防御 LLM 越狱
提出 LADE，用首 token 暗知识在生成前过滤越狱查询
- arXiv
- 2610.07532
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 白盒
- 被测模型
- Llama-2-7B-Chat、Llama-3-8B-Instruct、Qwen2-7B-Instruct 等13个
摘要作者用 LADE 在生成前过滤有害查询，并称八个模型中六个的 Held-out 平均最好。
LADE 是一种只读首 token 输出概率的防御，用来在生成前挡下可能引出有害回复的查询。
- 防御arXiv 2610.07276
SAFESHIELD：小语言模型部署时安全的决策组织框架
提出 SAFESHIELD，组织小语言模型部署时的安全决策
- arXiv
- 2610.07276
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- Qwen3-4B-Instruct
摘要SAFESHIELD 用可审计决策轨迹组织 SLM 部署时的四项安全决策，并报告协调依赖影响端到端结果。
SAFESHIELD 是面向小语言模型的部署时安全框架，把运行时安全从单项审核改写成可检查的决策过程。
- 评测与基准arXiv 2610.07089
研究者提出统一滥用监控基准，覆盖分解攻击与提示注入约 6200 条轨迹
提出危害窗口与区间指标，统一评测分解攻击和提示注入下的智能体滥用监视
- arXiv
- 2610.07089
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Gemma 4 26B-A4B、Qwen3.6 27B、Qwen3.5 27B 等12个
摘要统一智能体滥用监视框架，动作视角兼顾两类威胁但危害定位仍存瓶颈。
- 攻击arXiv 2610.06093
研究评测训练数据提取风险的跨语言迁移
用翻译前缀做跨语言训练数据提取，恢复英语训练文本中的 PII
- arXiv
- 2610.06093
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 被测模型
- GPT-Neo 1.3B、GPT-Neo 2.7B、GPT-J 6B 等7个
- 攻击提取与窃取
摘要跨语言 TDE 能恢复英语记忆的 PII，转移随多语训练和措辞保真变化。
这篇工作检验训练数据抽取是否跨语言：英语段落里记住的 PII，能否被其他语言的前缀逐字抽出。
- 攻击arXiv 2610.05943
CRIME 框架利用良性 Agent 技能组合诱发恶意行为
提出 CRIME 框架，组合良性 Agent 技能诱发恶意行为
- arXiv
- 2610.05943
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- DeepSeek-V4-Flash、GPT-4o-mini、GPT-4o 等6个
摘要良性技能经 DCA 或 ACA 组合后可产生恶意环境后果，单独审查对不上。
CRIME 把公共技能库中各自通过审查的技能配成两两组合，看联合执行能否实现指定恶意任务。。
- 评测与基准arXiv 2610.05586
AgentDoxx：联网搜索 Agent 对匿名访谈文本的再识别评测
构建 AGENTDOXX 基准，评测联网搜索 Agent 对匿名访谈的再识别
- arXiv
- 2610.05586
- 发表
- 层
- 应用层
- 被测模型
- GPT-5.6 Terra、GPT-5 Mini、GPT-4.1 Mini 等10个
摘要论文提出了已知身份的重识别基准 AGENTDOXX，揭示搜索与记忆双重风险及现有防御在检索轨迹中的泄露漏洞。
- 防御arXiv 2610.05346
研究者提出序列马赛克攻击并给出防御理论
形式化 watchman 防御以阻止序贯马赛克攻击
- arXiv
- 2610.05346
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 被测模型
- Qwen3.6-35B-A3B、Gemma-4-26B-A4B-it、DeepSeek-V2-Lite (16B-A2.4B)
摘要watchman 理论给出零失败且有用的条件。
这篇工作同时给出序贯马赛克防御的博弈理论，以及冻结 LLM 上的分角色自博弈训练。
- 攻击arXiv 2610.05282
Red-TTT：用测试时训练实现大语言模型自动化越狱
提出 Red-TTT，在攻击过程中更新攻击者实现自动化越狱
- arXiv
- 2610.05282
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 被测模型
- Llama-3-8B-Instruct、gpt-oss-20b、gpt-4.1-mini 等4个
- 分析与理论arXiv 2610.07009
研究受控拆解图像到文本越狱中图像属性的作用
固定有害指令，单轴归因图像到文本越狱的图像属性
- arXiv
- 2610.07009
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 被测模型
- GPT-4o、Claude Sonnet 4.5、Qwen3-VL-8B-Instruct 等6个
摘要固定文本的图像越狱拆解，只在 Qwen 上给出一条有界相关性归因。
- 攻击arXiv 2610.04985
研究揭示 Jev 作为应用决策层的安全与隐私风险
评估应用决策层的输入注入与隐私推断风险
- arXiv
- 2610.04985
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- Jev、NanoJev
摘要Jev 的类型化决策可被输入与训练操纵，也会泄露信息，并同时支持检测与滥用。
Jev 是 TypeSafe 的 System One 模型，把应用 state 和固定问题变成 Choice、Noul 或 Score 的类型化决策与概率。作者用官方 API 和可改训练的 NanoJev，考察它作为决策层时的操纵、泄露与双重用途。