评测与基准arXiv 2606.05647
研究：94% 开发者未能识破编码 Agent 的隐蔽破坏
评测人类开发者在协作编程中能否发现编码智能体的隐蔽破坏
- arXiv
- 2606.05647
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Claude-Opus-4.6、GPT-5.4、Gemini-3.1-Pro 等 5 个
红队 · 论文
另有 75 篇论文还没打上分类标签，暂不在筛选结果里。
- 防御arXiv 2610.05163
研究者在 Claude Code 和 Codex 上构造分段提示注入并发布边界动作审计基准
提出 PAA 路径对齐归因，审计编程智能体边界动作前的分段提示注入
- arXiv
- 2610.05163
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Claude Code (v2.1.172, Claude Sonnet 5)、Codex CLI (v0.144.0, GPT-5.5)、Claude Sonnet 5 等 7 个
摘要论文针对长流程注入提出边界动作审计与 PAA，在保持低误阻的同时实现高拦截率。
本研究针对长流程智能体在执行任务时面临的分阶段间接提示注入威胁，提出了在动作生效前进行拦截的边界动作审计框架与路径对齐归因方法。
- 评测与基准arXiv 2610.03448
研究重测 15 个提示注入检测器：基准分数难以预测 Agent 部署表现
重评提示注入检测器，检验基准分数对智能体部署的预测力
- arXiv
- 2610.03448
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Horizon-Labs、Wolf Defender、Prismor-1.5B 等 15 个
摘要论文揭示公开基准无法反映智能体检测器表现，检测能力源于输入格式相似而非通用防御，建议基于工具输出与低误报评测。
- 攻击arXiv 2609.18217
研究：跨通道碎片化攻击可绕过 MCP 单通道防御
提出跨通道分段攻击，借 MCP 多通道隐式信任外发敏感数据
- arXiv
- 2609.18217
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- GPT-4o、GPT-4o-mini、GPT-5.4 等 15 个
摘要论文揭示了 MCP 多通道隐式信任层级，通过跨通道分段与协议级利用突破现有防御，展示了严重的凭证外发风险。
- 攻击arXiv 2609.39607
Pretext 攻击绕过 NVIDIA SkillSpector 等 Agent 技能扫描器
提出 PRETEXT，迭代改写技能文本以绕过扫描并执行木马行为
- arXiv
- 2609.39607
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 攻击者
- 白盒
- 测试
- glm (z-ai/glm-5.1)、qwen3t (qwen/qwen3-235b-a22b-thinking-2507)、gpt-oss (openai/gpt-oss-120b) 等 4 个
摘要论文提出了针对多阶段技能检测器的白盒攻击，揭示了单纯依赖大模型自适应检测的局限。
PRETEXT 是一项针对基于“静态规则加语义大模型”的智能体技能安全检测框架的白盒攻击与协同进化评估研究。
- 防御arXiv 2608.06422
CMU 研究：分片判断可避免 LLM 监督失效并抵御对抗利用
提出分片监督，将评判标准拆至独立调用以改善一致性并抵御展示攻击
- arXiv
- 2608.06422
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 攻击者
- 黑盒
- 测试
- Claude Opus 4.8、Claude Sonnet 4.6、Claude Opus 4.6 等 5 个
摘要论文揭示决策负载是大模型监督的独立瓶颈，提出分片与辩论机制有效分离注意力与平衡证据，在多项高难度基准上实现稳健评判。
本文系统研究了大语言模型在执行多标准监督与评判时的决策负载瓶颈及其安全风险。
- 评测与基准arXiv 2607.20891
MisKnow-Agent 评测
提出 MisKnow-Agent，评测深度研究智能体是否采纳误导性检索知识
- arXiv
- 2607.20891
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Gemini Deep Research、DeepSeek-V4 Pro、Qwen3.5-397B 等 4 个
摘要论文通过 MisKnow-Agent 框架评估发现长程研究智能体易采纳误导性知识，且现有防御难以完全消除该现象。
- 防御arXiv 2610.01058
MOMAT：面向量化 LLM 低功耗越狱防御的多图集混合框架
提出 MOMAT 多图集检索与轻量判定，防御量化模型越狱
- arXiv
- 2610.01058
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 测试
- Llama2-13B、Llama2-7B、Mistral-7B
- 攻击arXiv 2510.11570
研究显示简单攻击可绕过 gpt-oss 等推理模型的安全护栏
提出四种阶段转换攻击，绕过推理模型的安全推理护栏
- arXiv
- 2510.11570
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 测试
- gpt-oss-20b、gpt-oss-120b、Qwen3-4B-Thinking-2507 等 10 个
- 攻击arXiv 2609.08236
研究：内容不变的风格包装可翻转 LLM 安全评判器的判定
提出内容不变样式包装，翻转安全评审器的判定
- arXiv
- 2609.08236
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 测试
- Keyword (rulebased)、GPT-4o-mini (gpt4o)、GPT-4o-mini (strongreject) 等 12 个
摘要论文揭示特定安全评审器易受保持内容不变的外层包装诱导改变判定，并指出安全评估应将判定稳定性作为重要考量指标。
这是一项关于大语言模型自动化安全评审系统表面样式脆弱性的评估研究。
- 评测与基准arXiv 2609.09798
CS-Guard：首个面向代码生成安全的 LLM 护栏评测基准
提出 CS-Guard 基准与虚构场景攻击，评测代码生成护栏
- arXiv
- 2609.09798
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 攻击者
- 黑盒
- 测试
- CodeLlama-13B-Instruct、DeepSeekCoder-V2-Lite-16B、GPT-OSS-20B 等 7 个
摘要论文提出了代码安全护栏基准 CS-Guard，评估发现现有护栏对虚构场景攻击和代码级恶意请求防御较弱。
- 评测与基准arXiv 2609.19587
红队测试 Auto Mode：用注入与多上下文攻击绕过编码 Agent 阻断监控器
红队评估编码智能体的阻断监视器，并提出 Auto Mode++加固
- arXiv
- 2609.19587
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Opus 5、Opus 4.8、Opus 4.7 等 8 个
摘要系统评估生产阻断监视器在面对持续恶意智能体时的表现，提出加固防御并指明多上下文防御挑战。
- 攻击arXiv 2609.38253
CollageAttack：利用跨模态对齐缺陷对 T2I 模型实施空间文本组合越狱
提出 CollageAttack，用空间文本碎片重组越狱文生图模型
- arXiv
- 2609.38253
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 测试
- GPT-Image-2、Doubao-Seedream-5.0-Lite、Wan2.7-Image-Pro 等 5 个
摘要系统揭示 T2I 跨模态空间合成安全漏洞，证实离散无害元素可在图像层面重构有害意图并放大传播强度。
- 评测与基准arXiv 2608.03070
FAR.AI 发布 AI 安全排行榜与护栏最低标准 1.0
建立越狱原语分类与双重危害基准，评测模型抵御常见越狱的能力
- arXiv
- 2608.03070
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 测试
- Claude Fable 5、Claude Opus 4.8、GPT-5.6 Sol 等 8 个
摘要论文系统评测了前沿模型对已知静态越狱的防御能力，揭示了厂商间防护鲁棒性的巨大分化。
本研究针对前沿 AI 大模型在 CBRNE 与网络高危滥用领域的安全防护，提出了 FAR.AI 最低安全标准（Minimal Standard v1.0）及配套评测基准，系统量化了当前主流模型的防护鲁棒性。
- 攻击arXiv 2609.22510
特拉维夫大学提出爆炸性提示词：条件触发的间接提示注入可绕过九款生产 Agent
提出爆炸提示词，用条件触发的间接注入延迟诱发恶意工具调用
- arXiv
- 2609.22510
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Llama-3.1-8B-Instruct、Llama-3.1-70B-Instruct、Qwen2.5-32B-Instruct 等 14 个
摘要论文揭示了条件触发使提示注入绕过防御并在触发时执行工具，提出轻量检测器并在摄入期有效防范。
论文针对大语言模型智能体面临的间接提示注入威胁，研究了利用条件句式实现时间分离的爆炸提示词。
- 评测与基准arXiv 2609.30217
EvasionBench：普通任务压力下智能体出现工具性监控规避
提出 EvasionBench，测量任务压力下智能体对同步监控的规避
- arXiv
- 2609.30217
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- GLM 5.2、DeepSeek V4 Flash、Muse Spark 1.3 等 12 个
- 攻击arXiv 2609.32400
SkillDRE：用预执行与运行时双阶段反馈自动演化恶意 Agent 技能
提出 SkillDRE，用预执行与运行时反馈演化恶意技能
- arXiv
- 2609.32400
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- DeepSeek-V4-Pro、GLM-5.2、Qwen3.5-397B-A17B 等 4 个
- 攻击arXiv 2609.34920
RISE：用迭代策略演化对现代文生图模型做红队测试
提出 RISE，迭代演化可复用策略对文生图模型做红队
- arXiv
- 2609.34920
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 测试
- DALL·E 3、Nano Banana 2、GPT-Image-2 等 10 个
已经到底了