其他arXiv 2610.00902
用平均场博弈分析 AI 安全：以 2026 年 7 月 Hugging Face 事件为例
用均值场最优停止分析多智能体集体攻击的均衡条件
- arXiv
- 2610.00902
- 发表
- 层
- 应用层
- 场景
- 多智能体
摘要结构阈值给出干预杠杆。
全部论文
另有 516 篇论文还没打上分类标签，暂不在筛选结果里。
- 其他arXiv 2609.10630
论文提出 AI 安全设计保障架构：结合 Scientist AI 模型级监督与系统级控制
提出结合模型级监督与系统级控制的智能体保障架构
- arXiv
- 2609.10630
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 风险Agent 危险操作
- 组件监控器
摘要作者梳理事件中的多层失效，主张监督模型、系统控制与证据治理并用。
Lu 与 Bengio 给出的是一套可逐层上移的保障架构和一组事件归类，不是已测量的防御系统。
摘要七组件按意图解剖提示注入，供事件记录、红队变异和 CTI 聚类。
McHugh 给出提示注入工件的组件解剖，让防御、红队和 CTI 不必靠字符串匹配来标注、比较和变异攻击。
- 其他arXiv 2607.11999
报告提出 AI 保险栈蓝图，主张 2030 年前实现数十亿美元级 AI 智能体承保
提出 AI 保险栈蓝图，为智能体经济构建可定价的明确承保
- arXiv
- 2607.11999
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 其他arXiv 2608.14611
2026 新加坡 AI 安全研究优先级共识：聚焦社会韧性与自主 AI 智能体风险
综合技术 AI 安全研究优先级，提出社会韧性支柱与智能体风险管理原则
- arXiv
- 2608.14611
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 其他arXiv 2607.28568
Frontis-MA1：面向机器学习工程递归自我改进的 AI4AI 模型
提出 OpenMLE 全栈，用执行反馈后训练机器学习元进化智能体
- arXiv
- 2607.28568
- 发表
- 场景
- 编程 Agent
- 测试
- Frontis-MA1-35B、Qwen3.6-35B-A3B、Frontis-MA1-30B 等 15 个
- 风险危险能力
摘要OpenMLE 训练 Frontis-MA1-35B，用四个共享算子把 MLE 后训练和长程搜索接成元进化闭环。
作者提出全栈 OpenMLE，在机器学习工程里研究从进化到元进化的一步，并把递归自我改进视为更远目标。智能体要在延迟、有噪声的执行反馈下反复修改程序。作者认为公开系统很少同时提供可扩展环境、基于执行的后训练，以及部署该模型的长程进化搜索。
- 其他arXiv 2609.06140
论文提出反集群准则：以协调事件为单元遏制智能体协同入侵
提出以协调情节为操作单位的跨执行准则，规定如何发现未授权智能体协同并在重启后遏制
- arXiv
- 2609.06140
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 风险欺骗与谋划
摘要立场是跨执行保留关系并约束共享状态。
- 其他arXiv 2609.24986
研究提出人机审计协作框架 HAAC，并在对话购物 Agent 上验证
提出人机审计协作框架 HAAC，在对话购物 Agent 上分配并验证审计分工
- arXiv
- 2609.24986
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Gemini 2.5、gemini-2.5-flash
摘要HAAC 规定人机审计分工。
HAAC 是一套用户参与式生成式 AI 审计的人机分工流程，实例为作者开发的对话式购物智能体。
- 其他arXiv 2609.36054
多作者论文评估 AI 研发自动化触发智能爆炸的可能与政策应对
评估自动化 AI 研发触发智能爆炸的可能并主张先可见再约束与适应
- arXiv
- 2609.36054
- 发表
- 场景
- 编程 Agent
摘要软件驱动智能爆炸可能把数年进展压进数月，作者要求三项政策先做好。
Chan 等论证：自动化 AI 研发可能经软件反馈环形成智能爆炸，把本需数年的进展压进数月或更短。他们关心的不是换硬件的建设周期，而是 AI 扩大有效研发劳动力、再产出更强系统，以及社会能否在能力跃迁前看见、约束并适应这一过程。
- 其他arXiv 2609.35366
Planarian：用状态点管理 Agent 的本地与远程状态
Planarian 用 statepoint 回滚并分支环境。
- arXiv
- 2609.35366
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- GPT-5.6-luna (medium reasoning)
- 组件权限与沙箱
摘要statepoint 支持回滚与分支。
Planarian 是与现有 harness 协同的运行时，把智能体环境收成可恢复、可分支的时间点。
- 其他arXiv 2608.14380
AgentRewind：面向长周期 LLM Agent 的可恢复执行框架
提出 AgentRewind，用对齐检查点回退长程 Agent 的上下文与工作区
- arXiv
- 2608.14380
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- GPT-5.4、GPT-5.4 mini、Qwen3.7-Max 等 7 个
- 组件权限与沙箱
- 其他arXiv 2609.35266
面向软件交付决策门禁的智能体安全审计器持续保障机制
提出 TAIP，把策略与证据分离，在配置或策略变化后重算仓库审计门禁裁决
- arXiv
- 2609.35266
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- gpt-4o-mini、gpt-4.1
摘要TAIP 把策略、证据和执行分开，在保留的 RepoAudit 证据上于 5s 预算内重算合并门姿态。
TAIP 是放在未修改 RepoAudit 之外的保证层，用来在软件交付门上重算智能体安全控制的当前姿态。
- 其他arXiv 2609.16694
面向安全 AI 渗透测试智能体：安全威胁、护栏与架构视角
综述自主渗透智能体的继承攻击、架构攻击及护栏覆盖缺口
- arXiv
- 2609.16694
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- GPT-4、GPT-4o、Llama-3 等 6 个
- 组件记忆
摘要用双轴分类连接渗透智能体的架构、攻击与护栏，并认为现有防御仍按组件分开。
这是一篇关于自主 AI 渗透测试智能体的安全综述：用架构和生命周期两轴整理威胁与护栏，不做新的攻击实验。
- 其他arXiv 2609.12582
NovaFabric 提出可防篡改、可重放的 AI Agent 运行证据方案
提出可防篡改、可重放的自主 Agent 运行证据方案
- arXiv
- 2609.12582
- 发表
- 层
- 应用层
- 场景
- AI Agent
摘要占位。
占位。
- 其他arXiv 2610.00093
自我演化智能体的安全性综述：SAVER 过渡中心框架
提出 SAVER 框架综述自演化智能体的安全状态转移
- arXiv
- 2610.00093
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 组件记忆
摘要SAVER 用状态转移追踪自演化安全：合法状态可经复用变不安全，后代修复证据仍少。
SAVER 是一篇关于自演化智能体安全的转移中心综述：安全对象从单次回答或单次授权动作，转到可复用状态在多次转移中的谱系。
- 其他arXiv 2610.01195
Federated Agent Optimization：面向隐私约束下分布式智能体协同优化的联邦智能体优化框架
提出 FAO 框架，形式化隐私约束下的智能体协同优化
- arXiv
- 2610.01195
- 发表
- 层
- 应用层
- 场景
- AI Agent
摘要FAO 把智能体协作写成效用、隐私和通信的多目标问题，并给出组件分类与迁移框架。
Federated Agent Optimization（FAO） 是一篇框架论文：多个处在私有环境中的 LLM 智能体，如何在原始数据、完整轨迹和本地知识不离开客户端的前提下协作改进。
- 其他arXiv 2610.01045
论文提出空承诺概念，衡量智能体承诺超出运行时能力的问题
提出空承诺概念与单回合测量协议，衡量智能体承诺超出运行时能力
- arXiv
- 2610.01045
- 发表
- 层
- 应用层
- 场景
- AI Agent
摘要空承诺由配置决定、说话当下可判。
作者定义空承诺：智能体承诺回合结束后的行动，但在其工具与运行时下没有任何执行路径。空洞只由配置决定，不依赖后续轨迹。
摘要综述用 HCI 和 L1–L5 回路责任，把 RSI 从一次性优化里分离出来。
这是一篇以改进回路为分析单位的 RSI 综述，用能力缺口和五级自主性说明何种持久更新才算递归自我改进。。
- 其他arXiv 2609.10144
AIOS 的内核管理共享内存：面向系统级个性化的新抽象
研究提出"内核管理共享内存"，由智能体系统内核而非单个智能体统一负责记忆检索、隐私执行与提示注入。
- arXiv
- 2609.10144
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- GPT-4o、Llama-3.1:8B、Qwen-2.5:7B
- 组件记忆
摘要作者称内核集中管理记忆，能拿到无约束上下文的大部分个性化收益，并降低延迟。
kernel-managed shared memory 把多智能体的检索、隐私和注入收进 agent-system kernel，并在 AIOS 上与三种替代方案比较。
- 其他arXiv 2609.12413
SoK 综述：智能体 AI 时代的越狱攻击、防御与实践考量
综述智能体执行链路中的越狱攻击、防御与实践权衡
- arXiv
- 2609.12413
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Qwen3.5-4B、Llama-3.1-8B-Instruct
摘要SoK 将越狱重放到智能体流水线，并用两种模型检验回复层防御的边际与代价。
Mia 等人把越狱安全从单轮回复扩展到智能体的规划、记忆、工具和智能体间通信，并问既有结论在更强原生对齐下是否还成立。