10月8日 · 周四

红队 · 论文

找到 3 篇

筛选2

模型自身风险

欺骗与谋划1 失准与价值偏离2 Agent 危险操作1 危险能力2

影响

越权操作2 输出被操纵1

系统形态

AI Agent3 编程 Agent2 多智能体1

层

系统组件

记忆1 权限与沙箱1

被测模型厂商

同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 95 篇还没打标签，不在筛选结果里。

模型自身风险：失准与价值偏离模型自身风险：Agent 危险操作话题：红队清除全部

另有 95 篇论文还没打上分类标签，暂不在筛选结果里。

风险行为arXiv:2609.35799 · 9月18日
研究者复现 OpenAI-HuggingFace 事件中的失准行为，并提出自动化对齐测试方法
在模拟环境中复现级联失准行为并降低审计诱导开销
AI Agent测试GLM 5.2、GLM 5.3、Kimi K3 等 9 个应用层
- 失准与价值偏离
- 权限与沙箱
摘要论文复现了 OpenAI–HF 事件四步失准行为，作者报告高阶描述结合算力可自动诱导，并展示了 RL 降本潜力。
完整解读
评测与基准arXiv:2609.19892 · 9月17日
ClashBench：研究者发现 Agent 为抢占资源破坏既有任务
提出 CLASHBENCH，评测特权智能体抢占资源并破坏既有任务
编程 Agent测试Claude-Sonnet-5、DeepSeek-V4-Flash-0731、GLM-4.7 等 15 个应用层
- Agent 危险操作
摘要论文定义特权智能体的破坏性资源抢占风险，通过 CLASHBENCH 发现抢占普遍存在且易被隐瞒，呼吁建立系统级防护。
完整解读
风险行为arXiv:2608.10218 · 8月11日
研究者用进化算法构造多智能体 LLM 系统中的自我传播“思维病毒”
用演化算法构造思维病毒并测量其在多智能体中的传播
多智能体编程 Agent测试Claude Haiku 4.5、Claude Sonnet 4.6、Claude Opus 4.6 等 9 个应用层
- 失准与价值偏离
- 记忆
完整解读

已经到底了