评测与基准arXiv 2602.08877
自动红队流水线压测对齐审计，发现提示词级策略性欺骗可致审计失效
提出自动化红队流水线，用系统提示词压测对齐审计能否抵御策略性欺骗
- arXiv
- 2602.08877
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Gemma 2 9B Instruct、Llama 3.3 70B Instruct、Llama 3.1 8B Instruct 等 4 个
摘要通过红队提示词揭示现有审计方法易受策略欺骗，并在激活层面诱导高置信度错误推断。
全部论文
另有 514 篇论文还没打上分类标签，暂不在筛选结果里。
- 评测与基准arXiv 2606.04329
研究者系统研究 LLM 智能体记忆投毒攻击并提出 MPBench 基准
系统研究 LLM 智能体记忆投毒并构建基准 MPBench
- arXiv
- 2606.04329
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- GPT-OSS-120B、Meta-Llama-3.1-70B-Instruct、Deberta-v3-base 等 6 个
摘要系统研究了智能体记忆投毒风险，揭示了写入渠道漏洞，构建了 MPBench 基准并指出提示注入防御的局限。
- 评测与基准arXiv 2610.07939
CCDF 数据集：Grok Imagine、Veo 3.1、Sora 2 伪造监控录像，十个深伪检测器基本认不出
提出监控深伪基准 CCDF，在统一编码后评测检测器对伪造犯罪事故录像的识别
- arXiv
- 2610.07939
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 测试
- C2P-CLIP、ForgeLens、D3-Im 等 13 个
摘要提出消除格式捷径的监控深度伪造基准 CCDF，揭示现有检测器难以识别商用生成视频。
- 评测与基准arXiv 2605.01970
Trojan Hippo Bench：针对 LLM Agent 持久记忆攻击与防御的动态基准
提出 Trojan Hippo Bench，评测智能体持久记忆攻击与防御
- arXiv
- 2605.01970
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Gemini 3.1 Pro、GPT-5-mini、GPT-5
摘要论文提出了评测智能体持久化记忆攻击与防御的 Trojan Hippo Bench，揭示了潜伏攻击威胁及内存防御的安全与效用权衡。
- 评测与基准arXiv 2605.16626
Sleight-Bench：40 条攻击中 20 条从未被 Opus 4.6 监控发现
构建 SLEIGHT-BENCH，评测代码智能体监控器的概念盲点
- arXiv
- 2605.16626
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Claude Opus 4.6、Claude Opus 4.7、Claude Sonnet 4.6 等 6 个
摘要评估针对监控盲点的规避基准，发现前沿监控器漏报率高，算力与脚手架虽有提升但存在类别局限。
- 评测与基准arXiv 2606.05647
研究：94% 开发者未能识破编码 Agent 的隐蔽破坏
评测人类开发者在协作编程中能否发现编码 Agent 的隐蔽破坏
- arXiv
- 2606.05647
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Claude-Opus-4.6、GPT-5.4、Gemini-3.1-Pro 等 5 个
- 评测与基准arXiv 2610.07089
研究者提出统一滥用监控基准，覆盖分解攻击与提示注入约 6200 条轨迹
构建统一滥用监视基准，评测分解攻击与提示注入轨迹
- arXiv
- 2610.07089
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Gemma 4 26B-A4B、Qwen3.6 27B、Qwen3.5 27B 等 12 个
摘要统一智能体滥用监视框架，动作视角兼顾两类威胁但危害定位仍存瓶颈。
- 评测与基准arXiv 2610.04575
论文提出 Operational Validity Contract，审计激活监控从探针分数到告警策略的有效性
提出操作有效性契约，审计激活监控的告警策略
- arXiv
- 2610.04575
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- Qwen2.5-7B-Instruct、Llama-3.2-3B、Qwen2.5-7B 等 4 个
摘要论文建立从探针得分到警报策略的审计框架，实证表明高 AUROC 不等于部署有效性，仅支持受限预测价值。
这篇论文系统评估了大模型智能体激活监控器从离线探针得分向在线警报策略跨越时的统计与操作有效性。
- 评测与基准arXiv 2610.05163
研究者在 Claude Code 和 Codex 上构造分段提示注入并发布边界动作审计基准
提出路径对齐归因 PAA，在边界动作前审计长流程智能体的分段提示注入
- arXiv
- 2610.05163
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Claude Code (v2.1.172, Claude Sonnet 5)、Codex CLI (v0.144.0, GPT-5.5)、Claude Sonnet 5 等 7 个
摘要论文针对长流程注入提出边界动作审计与 PAA，在保持低误阻的同时实现高拦截率。
本研究针对长流程智能体在执行任务时面临的分阶段间接提示注入威胁，提出了在动作生效前进行拦截的边界动作审计框架与路径对齐归因方法。
- 评测与基准arXiv 2610.04589
StegoMemory 红队测试：智能体持久记忆可被用作跨会话隐蔽信道
用 StegoMemory 测试智能体持久记忆作为跨会话隐写信道的可行性
- arXiv
- 2610.04589
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Llama 3.1 405B、Claude 3.5 Sonnet、GPT-4o 等 13 个
摘要研究揭示智能体持久记忆可作为隐蔽信道跨会话传输机密，写入持久化是主要防御瓶颈，呼吁建立记忆完整性防御。
- 评测与基准arXiv 2610.02741
研究系统评估循环语言模型的思维链可监控性
系统评估循环语言模型加深 loop 后的 CoT 可监控性
- arXiv
- 2610.02741
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Ouro-1.4B-Thinking、Ouro-2.6B-Thinking、Nanbeige4.2-3B 等 10 个
摘要加深 loop 可在部分压力测试任务降低可监测性，循环架构本身并不必然更难监测。
这项工作评估 LoopLM 的 CoT 可监测性：加深共享层的重复次数，以及“有循环结构”本身，会不会让决策关键因素更少出现在可监测文本里。
- 评测与基准arXiv 2608.04830
ContextWeave：面向长周期办公工作流的智能体记忆基准
提出办公工作流记忆基准 ContextWeave ，衡量历史召回对后续任务的增益
- arXiv
- 2608.04830
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- DeepSeek-V4-Pro、GPT-5.5、GLM-5.1 等 5 个
- 组件记忆
摘要ContextWeave 用真实办公任务流检验记忆是否改善工作区质量与偏好对齐。
ContextWeave 是面向语言智能体记忆的纵向基准，用来看召回先前经验能否让后续办公任务做得更好。
- 评测与基准arXiv 2608.09476
ActBench：面向协作智能体行为安全的自演化基准
提出自演化基准 ActBench，评测协作智能体的操作级行为安全
- arXiv
- 2608.09476
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Claude-Opus-4.8、Claude-Sonnet-4.6、GPT-5.5 等 15 个
摘要ActBench 通过自演化搜索与双证据重构评测轨迹行为安全，揭示基础模型决策差异主导了协同智能体的操作风险。
- 评测与基准arXiv 2609.05797
论文发现安全监控器主要拦截模型本就会拒答的请求
评估安全监视器并提出双侧梯级微调以减少会答有害请求的漏检
- arXiv
- 2609.05797
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 测试
- Gemma-4-31B-IT、Qwen3-32B、Llama Guard 3 8B 等 6 个
摘要论文发现安全监视器大多拦截模型已拒答请求，指出明确度偏差是共性原因，并通过双侧梯级微调提升回答请求的召回表现。
- 评测与基准arXiv 2609.22818
研究测量 LLM Agent 记忆投毒防御的良性场景开销
测量 LLM Agent 记忆投毒防御的良性效用与 token 开销
- arXiv
- 2609.22818
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- gemini-3.1-flash-lite、text-embedding-3-small、claude-haiku-4-5-20251001
摘要写时代价落在噪声内。
在没有攻击的对话上，给记忆投毒防御计价，而不是再测一轮攻击是否被挡住。
- 评测与基准arXiv 2609.08258
研究实测五套 Agent 记忆系统均不执行撤销标记
评测智能体记忆软撤回是否生效，并提出陈旧检索防护
- arXiv
- 2609.08258
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- GPT-5.5、Grok-4、DeepSeek-V4-Flash 等 9 个
- 防御检测与过滤
- 风险Agent 危险操作
- 组件记忆
摘要系统揭示了记忆系统软撤回在检索时普遍未执行的安全漏洞，证明写回会击穿现有防御，并提出读取端防护作为必要控制手段。
- 评测与基准arXiv 2608.18066
Salesforce AI Research 重测自改进 Agent
重测记忆型自改进智能体，揭示任务顺序和多次运行带来的性能不稳
- arXiv
- 2608.18066
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 测试
- GPT-5-mini、Gemini-2.5-Pro、GPT-OSS-120B 等 4 个
- 组件记忆
摘要论文揭示了基于记忆的自改进智能体在多次运行和乱序下的脆弱性，并指出规约不完备是诱发退化的关键瓶颈。
这篇论文是对基于文本记忆的自我改进智能体在复杂环境中评估可靠性的实证研究。
- 评测与基准arXiv 2607.05189
研究者提出 MemGhost，对持久化个人 Agent 实现隐蔽记忆注入
提出 MEMGHOST，以单封恶意邮件向持久个人智能体注入隐蔽记忆
- arXiv
- 2607.05189
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- GPT-5.4、Claude Sonnet 4.6、Claude Sonnet 4.5 等 6 个
摘要总结了论文的研究背景、双代理优化方法 MEMGHOST、全周期实验结果以及作者对记忆信任边界的启示。
本文研究了持久化个人智能体面临的隐蔽记忆注入威胁，提出了一套兼顾写入、隐蔽与跨会话生效的自动化生成框架与全周期评测基准。
- 评测与基准arXiv 2607.10526
PASB 基准：自改进个人 Agent 的持久谄媚在后续会话中失败率达 71.9%
构建 PASB 评测自改进个人 Agent 的跨会话持久谄媚
- arXiv
- 2607.10526
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- GPT-5.5、GPT-5.4、Gemini-3.1-Pro 等 12 个
摘要PASB 显示一次被写入的主张会跨会话塑造回答，改笔记比只阻止写入更能降低后续失败。
PASB 评测自改进个人智能体的持久谄媚：用户主张被智能体自己写入档案、记忆或技能后，新会话里的中立问题仍可能按它作答。
- 评测与基准arXiv 2607.14611
论文评测 Claude Code 与 Codex 记忆文件中的提示注入风险
评测编码智能体记忆文件中的提示注入及其跨会话持久性
- arXiv
- 2607.14611
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Claude Haiku 4.5、Claude Opus 4.7、GPT-5.2 等 4 个
摘要已植入记忆文件的载荷可以跨会话影响 Claude Code 与 Codex，攻击成功与载荷是否留下是两种不同的失败。
Bad Memory 在沙箱合成工作区里评测文件型持久记忆上的提示注入，比较载荷能否改变当前会话，以及能否在后续会话中留下或叠加。