攻击arXiv 2610.09973
从期望危害到似然：LLM 智能体越狱的概率重构
提出 OPUR 攻击，用似然梯度优化对抗后缀越狱 LLM 智能体
- arXiv
- 2610.09973
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 攻击者
- 白盒
- 被测模型
- Llama-3.1-8B-Instruct、Ministral-8B-Instruct-2410
- 防御arXiv 2610.08773
AdvSim2Real 用任务与注入对手共同演化训练网页智能体
提出 AdvSim2Real，协同训练网页智能体抵御页面注入
- arXiv
- 2610.08773
- 发表
- 层
- 应用层
- 被测模型
- Qwen3.5-4B
- 防御arXiv 2610.08678
研究揭示投机解码的安全代价并提出 SecureSD 加固方法
测量有损投机解码的安全代价，并提出 SecureSD 收紧早期验证
- arXiv
- 2610.08678
- 发表
- 层
- 模型层
- 场景
- AI Agent
- 攻击者
- 黑盒
- 被测模型
- Qwen3-8B、Qwen3-32B、Llama-3.1-8B-Instruct 等 6 个
摘要有损推测解码的早期偏离更快抬高越狱与注入风险。
作者研究有损推测解码在换取速度时，是否会比效用更快地损害越狱与提示注入防护，并给出按位置校正的 SecureSD。
- 评测与基准arXiv 2610.06503
研究评测五款开源文生图模型的有害内容生成与审核缺口
评测文生图模型的有害内容生成能力与审核检测缺口
- arXiv
- 2610.06503
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- SDXL、Stable Diffusion 3.5 Large、FLUX.1-dev 等 12 个
- 评测与基准arXiv 2610.07089
研究者提出统一滥用监控基准，覆盖分解攻击与提示注入约 6200 条轨迹
提出危害窗口与区间指标，统一评测分解攻击和提示注入下的智能体滥用监视
- arXiv
- 2610.07089
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Gemma 4 26B-A4B、Qwen3.6 27B、Qwen3.5 27B 等 12 个
摘要统一智能体滥用监视框架，动作视角兼顾两类威胁但危害定位仍存瓶颈。
- 评测与基准arXiv 2610.03448
研究重测 15 个提示注入检测器：基准分数难以预测 Agent 部署表现
重测提示注入检测器在 Agent 工具输出上的检出与任务阻断
- arXiv
- 2610.03448
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Horizon-Labs、Wolf Defender、Prismor-1.5B 等 15 个
摘要论文揭示公开基准无法反映智能体检测器表现，检测能力源于输入格式相似而非通用防御，建议基于工具输出与低误报评测。
- 评测与基准arXiv 2609.27336
CART：面向大语言模型的闭环自适应红队框架
提出闭环自适应红队框架 CART，评测模型与 Agent 的安全失败
- arXiv
- 2609.27336
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Claude Opus 4.8、GPT-5.5、Grok 4.3 等 7 个
- 攻击提示注入
摘要CART 把红队做成可审计的闭环搜索，在三类评测上比静态回放发现更多失败与更高平均风险。
CART 把自动红队从一次清单式打分，改成带预算、可追溯的闭环搜索。
- 评测与基准arXiv 2609.19140
AgentLSD：在对抗性任务污染下评测 AI 安全 Agent
评测安全 Agent 在对抗性任务污染下的解题成功与开销
- arXiv
- 2609.19140
- 发表
- 层
- 应用层
- 被测模型
- Gemma-4 31B、DeepSeek-V4 Flash、GPT-OSS 120B 等 6 个
- 攻击提示注入
摘要AgentLSD 用配对 web CTF 表明，欺骗性环境证据会改变安全智能体的解题率与工作量。
AgentLSD 是一个对照框架，用来测量安全智能体在任务本身不变时，对对抗性任务污染的反应。
- 评测与基准arXiv 2609.15017
PIDS-Bench：在过度防御、混淆与分布偏移下评测提示注入检测器
提出 PIDS-Bench，评测提示注入检测器在过度防御与分布偏移下的表现
- arXiv
- 2609.15017
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- TF-IDF + logistic regression、DistilBERT、DeBERTa-v3-FT 等 7 个
摘要PIDS-Bench 显示高分布内 F1 仍会过度拦截外部来源的安全相关良性输入。
PIDS-Bench 是一个冻结的检测器级基准，用来在固定阈值下同时看提示注入检测和良性误报。
- 防御arXiv 2609.03629
EraseSAE：用稀疏自编码器在文生视频扩散模型中实现精准概念擦除
提出 EraseSAE，在文生视频模型中局部擦除指定概念
- arXiv
- 2609.03629
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- CogVideoX-5B、HunyuanVideo、Flux.1 [dev]
摘要EraseSAE 用单义特征局部擦除。
EraseSAE 把 SAE 用于 DiT 文生视频模型的概念擦除。作者要解决的是：全局改权重或表面负提示对不齐细粒度、分布式的概念，而且会改到无关时空区域。
- 攻击arXiv 2608.12273
研究者提出 Convergent Detour Hijacking 攻击，可让技能型 LLM Agent 绕路并放大资源消耗
提出 CDH 攻击，让技能型 Agent 绕路放大资源消耗
- arXiv
- 2608.12273
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Claude-Haiku-4.5、DeepSeek-V4-Pro、DeepSeek-V4-Flash 等 6 个
摘要CDH 让静态技能在保持任务完成时拉高调用与 token，耗时则因后端而异。
CDH 是针对渐进披露技能智能体的发布者侧、纯文本攻击：一个静态协调器把本可正确完成的任务，拐进有界但更耗资源的技能绕路，再交还原任务。
- 防御arXiv 2606.08234
SciTrace：面向科学发现智能体的轨迹感知安全推理框架
提出 SciTrace，为科学发现智能体加入跨阶段安全推理与工具轨迹核验
- arXiv
- 2606.08234
- 发表
- 层
- 应用层
- 被测模型
- Llama-3.1-70B-Instruct、Qwen2.5-72B-Instruct、DeepSeek-V3 等 4 个
摘要SciTrace 把安全推理织入科学智能体各阶段，在 SciSafetyBench 上提高安全指标并保持输出质量。
SciTrace 是加在科学发现智能体流水线上的安全框架，不是再在各阶段出口放一个独立过滤器。
- 攻击arXiv 2510.09023
论文提出自适应攻击框架，击穿 12 项 LLM 越狱与提示注入防御
提出自适应攻击框架，击穿越狱与提示注入防御
- arXiv
- 2510.09023
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Gemini-2.5 Pro、GPT-5 Mini、Llama-3.3 70B 等 15 个
- 防御arXiv 2312.06632
用智能体控制化学科学中的 AI 风险：SciGuard 护栏与 SciMT 基准
提出 SciGuard 外部护栏与 SciMT 基准，控制化学科学 AI 误用
- arXiv
- 2312.06632
- 发表
- 层
- 应用层
- 被测模型
- SciGuard (GPT-4)、SciGuard (Gemini)、SciGuard (Mixtral) 等 5 个
摘要SciGuard 以外部智能体控制化学 AI 误用。
这篇工作把化学科学 AI 的误用控制做成外部智能体，而不是改模型权重。作者担心合成规划、毒性预测和科学语言模型被用来获取有害物质信息、规避监管或传播危险知识，同时合法工业用途又不能靠一律拒绝来处理。SciGuard 由 LLM 担任中介，把原则和指南放进短期记忆，把分子库、危害库、法规和交互历史放进可检索的长期记忆，再按 Chain of Thought 调用 Chemprop、LocalRetro 等工具，或用 RAG 补法规片段，最后回答、追问或拒绝。
已经到底了