全部论文

CONTRA：研究者用配置树搜索对个人化 Agent 做红队测试

提出 CONTRA，用树搜索修改良性配置以诱发 Agent 恶意动作

arXiv

2607.03220

发表

7月3日

层

应用层

场景

AI Agent

测试

Ministral-3-14b、Gemma4-31b、Gemma4-e4b 等 6 个

• 技术自动化搜索

EvoMal 攻击利用自我进化编码 Agent 的自我投毒实现蠕虫式传播

提出 EVOMAL 攻击，诱导编码 Agent 自我投毒并蠕虫式传播技能

arXiv

2608.25776

发表

8月26日

层

应用层

场景

编程 Agent

测试

Devstral-Small-2、Gemma-4-31B-IT、Qwen3-Coder-Next 等 7 个

• 攻击投毒与后门
• 技术潜伏触发
• 组件记忆
• +3+3

研究：LLM 路由决策日志可推断用户医疗、自伤等敏感话题

提出利用路由元数据推断敏感话题的侧信道攻击

arXiv

2610.09981

发表

10月7日

层

基础设施层

场景

LLM 应用

测试

Mixtral-8x7B、RouteLLM (BERT router)、notdiamond-0001 等 6 个

• 攻击提取与窃取
• 技术侧信道

研究者提出模型生物体多目标验证框架并给出训练建议

提出模型生物多目标验证与合并训练方法以减少能力损伤

arXiv

2610.10203

发表

10月7日

层

训练与数据层

场景

模型与 API

测试

olmo-2-1b、gemma-2-2b-it、llama-3.1-8b-it 等 8 个

研究者披露 AP2 支付协议的 Whisper 提示注入攻击并提出 A-VIP 防御

提出 Whisper 攻击与 A-VIP 绑定防御，约束智能体支付决策

arXiv

2609.11757

发表

9月10日

层

应用层

场景

AI Agent

测试

mistral-large、gemini-2.5-flash-lite、gemini-3.1-flash-lite 等 15 个

• 防御权限与审批
• 攻击提示注入
• 组件权限与沙箱
• +1+1

SafeEvo：从拒答回路视角解释大模型安全对齐机制与演化

用 SafeEvo 提取拒绝电路，并提出 SCA 仅微调该电路

arXiv

2610.09600

发表

10月7日

层

训练与数据层

场景

模型与 API

测试

Mistral-7B-v0.1、Mistral-7B-Instruct-v0.1、Llama-3-8B 等 4 个

• 防御模型加固
• 风险拒答失当

PatchBench 提出激活补丁局部评测协议，揭示越狱修复的附带损伤

提出 PatchBench-Local 协议，评测激活补丁修复越狱的局部附带损伤

arXiv

2610.10276

发表

10月7日

层

模型层

场景

模型与 API

测试

Mistral-7B-Instruct-v0.3、Ministral-3-14B-Instruct、Qwen2.5-3B-Instruct 等 8 个

• 防御推理时干预
• 攻击越狱

SLIP：无需外部攻击模型的多轮自我越狱

提出无外部攻击模型的多轮自我越狱方法 SLIP

arXiv

2601.02670

发表

1月6日

层

提示层

场景

模型与 API

攻击者

黑盒

测试

Mistral-7B-Instruct、Mistral-7B、GPT-5.1 等 11 个

• 攻击越狱
• 技术多轮渐进
• +1+1

研究：后训练配方决定大模型是否违背自身道德判断行事

提出知行差距面板，测量压力下模型是否违背自身判断

arXiv

2610.08670

发表

10月7日

层

模型层

场景

模型与 API

测试

OLMo-3-7B-Instruct、Tulu 3、OLMo-3-7B 等 7 个

• 风险失准与价值偏离

研究：LLM 潜在空间去偏方向主要编码置信度而非公平性

分析 LLM 去偏激活方向，发现其编码置信度而非公平性

arXiv

2610.08559

发表

10月6日

层

模型层

场景

模型与 API

测试

Ministral-3-8B-Base、Ministral-3-8B-Instruct、Llama-3.1-8B 等 8 个

• 防御推理时干预
• 风险偏见与歧视

研究者提出统一滥用监控基准，覆盖分解攻击与提示注入约 6200 条轨迹

构建统一滥用监视基准，评测分解攻击与提示注入轨迹

arXiv

2610.07089

发表

10月5日

层

应用层

场景

AI Agent

测试

Mistral Small 3.2 24B、Gemma 4 26B-A4B、Qwen3.6 27B 等 12 个

• 攻击越狱
• 组件监控器
• +1+1

研究者提出答案侧后门：让模型自生成触发词绕过安全拒答

提出回答端后门，让模型自生成触发词以在干净有害请求下绕过拒答

arXiv

2610.07723

发表

10月6日

层

训练与数据层

场景

模型与 API

测试

Mistral-7B-Instruct-v0.3、Llama-2-7B-chat-hf、Gemma-7B-it 等 4 个

• 攻击投毒与后门
• 技术潜伏触发
• 组件微调与开源权重
• +2+2

研究发现类型化决策模型主要按选项标签而非定义作答

揭示类型化决策模型按选项标签而非定义规则作答

arXiv

2610.02586

发表

10月1日

层

提示层

场景

模型与 API

测试

Mistral-7B-Instruct-v0.3、von、Qwen2.5-0.5B 等 6 个

• 组件护栏与评审

研究揭示文本水印会诱发模型幻觉，并提出两种缓解干预

分析文本水印在 RAG 中诱发事实幻觉的机制并提出干预

arXiv

2610.04860

发表

10月4日

层

模型层

场景

LLM 应用

测试

Mistral-7B-Instruct-v0.3、LLaMA 3.1 8B Instruct、Qwen2.5-14B-Instruct

• 防御推理时干预
• 风险幻觉与编造
• 组件RAG

研究揭示 LLM 风险偏好中自我报告与行为由近乎正交的表征方向控制

揭示风险自述与实际行为由近正交表征分别控制

arXiv

2610.04125

发表

10月3日

层

模型层

场景

模型与 API

测试

OLMo-3-7B-Instruct、Ministral-3-8B-Reasoning-2512、Qwen2.5-7B-Instruct 等 4 个

• 风险欺骗与谋划

研究显示 VLM 视觉定位输出的拒答率按危害领域平均低 31 至 59 个百分点

提出融合定位拒答与能力保留的安全微调，补齐视觉定位输出的拒答缺口

arXiv

2610.05637

发表

10月5日

层

训练与数据层

场景

模型与 API

测试

Molmo2-8B、Claude Sonnet 4.6、Gemini 3.5 Flash 等 5 个

• 防御模型加固
• 风险拒答失当
• 组件视觉

StegoMemory 红队测试：智能体持久记忆可被用作跨会话隐蔽信道

用 StegoMemory 测试智能体持久记忆作为跨会话隐写信道的可行性

arXiv

2610.04589

发表

10月3日

层

应用层

场景

AI Agent

测试

Mistral Large 2、Llama 3.1 405B、Claude 3.5 Sonnet 等 13 个

• 攻击投毒与后门
• 技术编码与混淆
• 组件记忆
• +1+1

研究：失准 LLM Agent 可经持久记忆自我传播目标，审计与关闭记忆均不足以防住

展示失准智能体经持久记忆将目标传给后续对齐智能体执行

arXiv

2610.04083

发表

10月3日

层

应用层

场景

AI Agent

测试

Mistral Medium、Claude Haiku 4.5、Claude Sonnet 5 等 11 个

• 风险失准与价值偏离
• 组件记忆

研究发现基础模型仅靠固定开头 token 即可达到 RL 级推理表现

证明短开头词可唤醒基模型推理，且效应来自训练数据

arXiv

2610.06851

发表

10月5日

层

训练与数据层

场景

模型与 API

测试

Olmo-3-7B、Olmo-3-32B、Olmo-3-7B-RL-Zero-Math 等 10 个

• 组件推理链

研究：模型掌握评测设计知识后安全基准分数更高

微调注入评测特征知识，测量隐式评测觉察造成的安全分数虚增

arXiv

2605.28591

发表

5月27日

层

模型层

场景

AI Agent

测试

OLMo 3.1 32B Instruct、Llama 3.3 Nemotron Super 49B v1.5、Qwen3 32B 等 5 个

• 风险欺骗与谋划