评测与基准arXiv 2602.08877
自动红队流水线压测对齐审计，发现提示词级策略性欺骗可致审计失效
提出自动化红队流水线，用系统提示词压测对齐审计能否抵御策略性欺骗
- arXiv
- 2602.08877
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Gemma 2 9B Instruct、Llama 3.3 70B Instruct、Llama 3.1 8B Instruct 等 4 个
摘要通过红队提示词揭示现有审计方法易受策略欺骗，并在激活层面诱导高置信度错误推断。
全部论文
另有 485 篇论文还没打上分类标签，暂不在筛选结果里。
- 攻击arXiv 2608.09732
ColluSkill 用跨技能组合绕过 Agent 技能扫描器
提出 ColluSkill 跨技能组合攻击，拆分恶意载荷以绕过技能扫描器
- arXiv
- 2608.09732
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- GPT-5.5、DeepSeek-V4-Pro、GLM-5.2
摘要论文揭示了单技能孤立扫描的盲区，提出多技能链攻击 ColluSkill 与上下文防御 ChainGuard 并验证了有效性。
- 评测与基准arXiv 2610.07939
CCDF 数据集：Grok Imagine、Veo 3.1、Sora 2 伪造监控录像，十个深伪检测器基本认不出
提出监控深伪基准 CCDF，在统一编码后评测检测器对伪造犯罪事故录像的识别
- arXiv
- 2610.07939
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 测试
- C2P-CLIP、ForgeLens、D3-Im 等 13 个
摘要提出消除格式捷径的监控深度伪造基准 CCDF，揭示现有检测器难以识别商用生成视频。
- 评测与基准arXiv 2605.16626
Sleight-Bench：40 条攻击中 20 条从未被 Opus 4.6 监控发现
构建 SLEIGHT-BENCH，评测代码智能体监控器的概念盲点
- arXiv
- 2605.16626
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Claude Opus 4.6、Claude Opus 4.7、Claude Sonnet 4.6 等 6 个
摘要评估针对监控盲点的规避基准，发现前沿监控器漏报率高，算力与脚手架虽有提升但存在类别局限。
- 防御arXiv 2610.06001
AgentSpy：在系统调用层观测 AI Agent 行为并检测技能注入攻击
提出 AgentSpy，在系统调用层观测 Agent 并检测技能注入
- arXiv
- 2610.06001
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- gpt-5.6-terra、deepseek-v4-flash、glm-5.3-flash 等 4 个
摘要提出了系统级智能体监控框架 AgentSpy，揭示出通过测试背后的非预期行为与注入风险。
本研究提出了面向 AI 智能体的系统级外部监控与行为分析框架 AgentSpy。
- 评测与基准arXiv 2610.04575
论文提出 Operational Validity Contract，审计激活监控从探针分数到告警策略的有效性
提出操作有效性契约，审计激活监控的告警策略
- arXiv
- 2610.04575
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- Qwen2.5-7B-Instruct、Llama-3.2-3B、Qwen2.5-7B 等 4 个
摘要论文建立从探针得分到警报策略的审计框架，实证表明高 AUROC 不等于部署有效性，仅支持受限预测价值。
这篇论文系统评估了大模型智能体激活监控器从离线探针得分向在线警报策略跨越时的统计与操作有效性。
- 防御arXiv 2605.17380
Uber 提出 ADR 企业级 Agent 检测系统，在 7200 台主机部署十个月
提出企业级检测系统 ADR，检测编程 Agent 的提示注入与恶意 MCP
- arXiv
- 2605.17380
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- GPT-4o、Claude Sonnet 4、Llama Guard 3-8B 等 4 个
摘要提出了端点因果遥测、两级在线分流与离线红队闭环的 ADR 系统，并在生产环境中验证了有效性。
- 防御arXiv 2610.05163
研究者在 Claude Code 和 Codex 上构造分段提示注入并发布边界动作审计基准
提出路径对齐归因 PAA，在边界动作前审计长流程智能体的分段提示注入
- arXiv
- 2610.05163
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Claude Code (v2.1.172, Claude Sonnet 5)、Codex CLI (v0.144.0, GPT-5.5)、Claude Sonnet 5 等 7 个
摘要论文针对长流程注入提出边界动作审计与 PAA，在保持低误阻的同时实现高拦截率。
本研究针对长流程智能体在执行任务时面临的分阶段间接提示注入威胁，提出了在动作生效前进行拦截的边界动作审计框架与路径对齐归因方法。
- 防御arXiv 2610.03073
SecJev：为 System One 决策模型引入安全专业知识
提出 SecJev，用场景加权训练把决策模型适配为安全类型化判断
- arXiv
- 2610.03073
- 发表
- 场景
- 模型与 API
- 测试
- SecJev-0.8B、SecJev-2B、SecJev-4B 等 10 个
摘要SecJev 用共享打分器做安全决策，0.8B 的 task-macro 超过 Kev-9B。
SecJev 是 0.8B 到 9B 的安全决策模型族，作者称据其所知是首个面向安全的 Jev-like 家族。
- 防御arXiv 2610.02853
研究提出基于收缩约束状态空间模型的有界可达性与越狱检测方法
提出收缩约束 SSM 安全头，认证嵌入扰动并检测越狱
- arXiv
- 2610.02853
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 测试
- Mamba-130M、ToySSMClassifier、S4 safety head 等 7 个
摘要收缩给出玩具 LTI 的有界认证。
给 SSM 安全头一个收缩条件，并在越狱检测上使用收缩正则的 S4 头。。
- 防御arXiv 2610.02456
SideKernel：面向 macOS 上 AI 编码 Agent 的 microVM 沙箱
提出面向 macOS 编程 Agent 的 microVM 沙箱 SideKernel
- arXiv
- 2610.02456
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Claude Code
- 防御权限与审批
- 风险Agent 危险操作
- 组件权限与沙箱
- 评测与基准arXiv 2610.02741
研究系统评估循环语言模型的思维链可监控性
系统评估循环语言模型加深 loop 后的 CoT 可监控性
- arXiv
- 2610.02741
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Ouro-1.4B-Thinking、Ouro-2.6B-Thinking、Nanbeige4.2-3B 等 10 个
摘要加深 loop 可在部分压力测试任务降低可监测性，循环架构本身并不必然更难监测。
这项工作评估 LoopLM 的 CoT 可监测性：加深共享层的重复次数，以及“有循环结构”本身，会不会让决策关键因素更少出现在可监测文本里。
- 防御arXiv 2610.03055
HackTrace：用生成状态监督检测代码生成中的奖励作弊
提出 HACKTRACE，用生成期激活检测代码智能体的奖励作弊
- arXiv
- 2610.03055
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Qwen3-8B、Llama-3.1-8B-Instruct、Qwen3.5-4B 等 4 个
摘要论文提出利用生成状态监督作弊尝试的 HACKTRACE 框架，实现高精度低延迟检测并在 GRPO 训练中有效抑制奖励投机。
- 防御arXiv 2610.03089
COBRA：为计算机使用 Agent 防御分支引导攻击的双 LLM 架构
提出 COBRA，用分支能力约束与代理拦截防御计算机使用 Agent 的分支引导攻击
- arXiv
- 2610.03089
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- gpt-5、UI-TARS-1.5-7B、claude-sonnet-5 等 6 个
摘要提出分支转向防御架构 COBRA，通过事前能力约束与边界代理消除分支转向攻击并兼顾效用。
- 防御arXiv 2609.38983
论文提出 Approval Laundering 分类，实测 Claude Code 审批与执行绑定失败
提出 Approval Token 绑定编程智能体的审批与执行
- arXiv
- 2609.38983
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Claude Code (v2.1.197, opus[1m] / claude-sonnet-5-ccmax)、Codex CLI (@openai/codex v0.154.0)
- 防御权限与审批
- 风险Agent 危险操作
- 组件权限与沙箱
摘要系统揭示编程智能体审批洗白风险，提出七字段权能防御机制，证实其能消除身份时序偏离但难防副作用偏离。
- 防御arXiv 2608.14632
DeMTS：将去噪轨迹建模为多变量时间序列，检测扩散语言模型的幻觉
提出 DeMTS，把扩散语言模型去噪轨迹建成多元时间序列以检测幻觉
- arXiv
- 2608.14632
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- LLaDA-8B-Instruct、Dream-7B-Instruct
- 防御arXiv 2608.05578
AMS 工具通过激活分析检测语言模型的安全训练改动
提出 AMS，用激活分离与方向相似度检测安全训练改动
- arXiv
- 2608.05578
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Llama-3.1-8B-Instruct、Llama-3.2-3B-Instruct、Llama-3.2-1B-Instruct 等 14 个
摘要AMS 按激活签名把安全改动分四类，前三类可由两级扫描覆盖，行为微调会漏。
AMS 是面向开放权重模型、部署前使用的激活扫描器，用来看安全训练被拿掉或改写之后，激活空间里还留着什么几何痕迹。
- 防御arXiv 2609.05797
论文发现安全监控器主要拦截模型本就会拒答的请求
评估安全监视器并提出双侧梯级微调以减少会答有害请求的漏检
- arXiv
- 2609.05797
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 测试
- Gemma-4-31B-IT、Qwen3-32B、Llama Guard 3 8B 等 6 个
摘要论文发现安全监视器大多拦截模型已拒答请求，指出明确度偏差是共性原因，并通过双侧梯级微调提升回答请求的召回表现。
- 防御arXiv 2609.04665
HackProbe：面向自演化语言模型奖励作弊的黑盒检测与免疫方法
提出 HackProbe，黑盒检测并免疫自演化中的奖励作弊
- arXiv
- 2609.04665
- 发表
- 场景
- 模型与 API
- 测试
- Qwen2.5-7B-Instruct
摘要黑盒探针检测自演化奖励黑客，并以带宽受限重选回收真实能力。
HackProbe 是挂在自演化循环上的黑盒监控器，用来发现奖励黑客并改选候选。
- 评测与基准arXiv 2609.05535
Mind2Web-Injection：面向网页 Agent 视觉提示注入护栏的证据对齐评测
提出 Mind2Web-Injection，评测网页 Agent 截图护栏的证据对齐
- arXiv
- 2609.05535
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- GPT-5.6-luna、Qwen3-VL-32B、Qwen3-VL-8B 等 6 个
摘要作者称检测、定位和反事实响应在六个 VLM 上可分开。
Mind2Web-Injection 用来检查网页截图护栏的判决是否对齐到该用的画面证据。。