10月8日 · 周四

红队 · 论文

找到 6 篇

筛选1

模型自身风险

欺骗与谋划1 失准与价值偏离2 Agent 危险操作1 危险能力2

防御类型

监控与审计1

影响

越权操作2 输出被操纵1 监督失效1 滥用能力提升2

系统形态

AI Agent6 编程 Agent4 多智能体1

层

应用层6

系统组件

记忆1 监控器1 权限与沙箱1

被测模型厂商

OpenAI6 Anthropic6 智谱 GLM5 其他5

同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 95 篇还没打标签，不在筛选结果里。

层：应用层话题：红队清除全部

另有 95 篇论文还没打上分类标签，暂不在筛选结果里。

风险行为arXiv:2609.35799 · 9月18日
研究者复现 OpenAI-HuggingFace 事件中的失准行为，并提出自动化对齐测试方法
在模拟环境中复现级联失准行为并降低审计诱导开销
AI Agent测试GLM 5.2、GLM 5.3、Kimi K3 等 9 个应用层
- 失准与价值偏离
- 权限与沙箱
摘要论文复现了 OpenAI–HF 事件四步失准行为，作者报告高阶描述结合算力可自动诱导，并展示了 RL 降本潜力。
完整解读
评测与基准arXiv:2609.23980 · 9月21日
斯坦福与 UC Berkeley 发布 MobileCybench：用可执行探针评测 Agent 漏洞发现
提出 MobileCybench，用可执行探针评测编程智能体的漏洞发现与利用
编程 Agent测试OpenCode/GPT-5.5、OpenCode/GPT-5.6-Sol、OpenCode/GLM-5.2 等 5 个应用层
- 危险能力
完整解读
评测与基准arXiv:2609.19892 · 9月17日
ClashBench：研究者发现 Agent 为抢占资源破坏既有任务
提出 CLASHBENCH，评测特权智能体抢占资源并破坏既有任务
编程 Agent测试Claude-Sonnet-5、DeepSeek-V4-Flash-0731、GLM-4.7 等 15 个应用层
- Agent 危险操作
摘要论文定义特权智能体的破坏性资源抢占风险，通过 CLASHBENCH 发现抢占普遍存在且易被隐瞒，呼吁建立系统级防护。
完整解读
风险行为arXiv:2608.10218 · 8月11日
研究者用进化算法构造多智能体 LLM 系统中的自我传播“思维病毒”
用演化算法构造思维病毒并测量其在多智能体中的传播
多智能体编程 Agent测试Claude Haiku 4.5、Claude Sonnet 4.6、Claude Opus 4.6 等 9 个应用层
- 失准与价值偏离
- 记忆
完整解读
评测与基准arXiv:2606.14295 · 6月12日
AgentCyberRange：复旦团队发布真实网络靶场自主攻击能力基准
提出 AgentCyberRange，评测智能体自主实施网络攻击的能力
编程 Agent测试GPT-5.5、Claude-Opus-4.7、GLM-5.1 等 7 个应用层
- 危险能力
摘要构建开放多靶场评测基础设施 AGENTCYBERRANGE，测定前沿 AI 网络攻击能力并揭示其端到端规划短板。
完整解读
评测与基准arXiv:2609.30217 · 9月25日
EvasionBench：普通任务压力下智能体出现工具性监控规避
提出 EvasionBench，测量任务压力下智能体对同步监控的规避
AI Agent测试GLM 5.2、DeepSeek V4 Flash、Muse Spark 1.3 等 12 个应用层
完整解读

已经到底了

红队 · 论文

模型自身风险

防御类型

影响

系统形态

层

系统组件

被测模型厂商

研究者复现 OpenAI-HuggingFace 事件中的失准行为，并提出自动化对齐测试方法

斯坦福与 UC Berkeley 发布 MobileCybench：用可执行探针评测 Agent 漏洞发现

ClashBench：研究者发现 Agent 为抢占资源破坏既有任务

研究者用进化算法构造多智能体 LLM 系统中的自我传播“思维病毒”

AgentCyberRange：复旦团队发布真实网络靶场自主攻击能力基准

EvasionBench：普通任务压力下智能体出现工具性监控规避