其他arXiv 2609.03178
论文梳理 AI 风险建模的开放问题：从 22 位专家研讨会提炼研究议程
梳理 AI 风险建模开放问题并比较两类定量提案
- arXiv
- 2609.03178
- 发表
- 层
- 应用层
- 场景
- AI Agent
摘要研讨会议程论文：比较两类建模提案，并列出结构、证据、验证与治理上的开放问题。
这是一份面向研究者与政策实践者的议程论文：先进 AI 的社会风险需要定量建模，但监管要求的先进方法尚未被定义。
全部论文
另有 482 篇论文还没打上分类标签，暂不在筛选结果里。
- 其他arXiv 2609.37968
SelfSearch：无需奖励信号的自改进 Agent 搜索方法
提出 SelfSearch，用自我修改记录无奖励搜索以改进编码智能体
- arXiv
- 2609.37968
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- gpt-5.6-sol、gpt-5.6-luna、deepseek-v4-pro-0813 等 4 个
摘要作者主张以智能体经济管理自主科学发现的验证资源、信用、问责与安全，而非只提升推理。
作者把高自主 AI scientist 的规模化协调写成经济与制度问题：假设生成变便宜之后，要分配的是稀缺验证资源，并处理信用、问责和恶意使用。
- 其他arXiv 2610.00902
用平均场博弈分析 AI 安全：以 2026 年 7 月 Hugging Face 事件为例
用均值场最优停止分析多智能体集体攻击的均衡条件
- arXiv
- 2610.00902
- 发表
- 层
- 应用层
- 场景
- 多智能体
摘要结构阈值给出干预杠杆。
- 其他arXiv 2609.10630
论文提出 AI 安全设计保障架构：结合 Scientist AI 模型级监督与系统级控制
提出结合模型级监督与系统级控制的智能体保障架构
- arXiv
- 2609.10630
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 风险Agent 危险操作
- 组件监控器
摘要作者梳理事件中的多层失效，主张监督模型、系统控制与证据治理并用。
Lu 与 Bengio 给出的是一套可逐层上移的保障架构和一组事件归类，不是已测量的防御系统。
摘要七组件按意图解剖提示注入，供事件记录、红队变异和 CTI 聚类。
McHugh 给出提示注入工件的组件解剖，让防御、红队和 CTI 不必靠字符串匹配来标注、比较和变异攻击。
- 其他arXiv 2607.11999
报告提出 AI 保险栈蓝图，主张 2030 年前实现数十亿美元级 AI 智能体承保
提出 AI 保险栈蓝图，为智能体经济构建可定价的明确承保
- arXiv
- 2607.11999
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 其他arXiv 2608.14611
2026 新加坡 AI 安全研究优先级共识：聚焦社会韧性与自主 AI 智能体风险
综合技术 AI 安全研究优先级，提出社会韧性支柱与智能体风险管理原则
- arXiv
- 2608.14611
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 其他arXiv 2607.28568
Frontis-MA1：面向机器学习工程递归自我改进的 AI4AI 模型
提出 OpenMLE 全栈，用执行反馈后训练机器学习元进化智能体
- arXiv
- 2607.28568
- 发表
- 场景
- 编程 Agent
- 测试
- Frontis-MA1-35B、Qwen3.6-35B-A3B、Frontis-MA1-30B 等 15 个
- 风险危险能力
摘要OpenMLE 训练 Frontis-MA1-35B，用四个共享算子把 MLE 后训练和长程搜索接成元进化闭环。
作者提出全栈 OpenMLE，在机器学习工程里研究从进化到元进化的一步，并把递归自我改进视为更远目标。智能体要在延迟、有噪声的执行反馈下反复修改程序。作者认为公开系统很少同时提供可扩展环境、基于执行的后训练，以及部署该模型的长程进化搜索。
- 其他arXiv 2609.06140
论文提出反集群准则：以协调事件为单元遏制智能体协同入侵
提出以协调情节为操作单位的跨执行准则，规定如何发现未授权智能体协同并在重启后遏制
- arXiv
- 2609.06140
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 风险欺骗与谋划
摘要立场是跨执行保留关系并约束共享状态。
- 其他arXiv 2609.24986
研究提出人机审计协作框架 HAAC，并在对话购物 Agent 上验证
提出人机审计协作框架 HAAC，在对话购物 Agent 上分配并验证审计分工
- arXiv
- 2609.24986
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Gemini 2.5、gemini-2.5-flash
摘要HAAC 规定人机审计分工。
HAAC 是一套用户参与式生成式 AI 审计的人机分工流程，实例为作者开发的对话式购物智能体。
- 其他arXiv 2609.36054
多作者论文评估 AI 研发自动化触发智能爆炸的可能与政策应对
评估自动化 AI 研发触发智能爆炸的可能并主张先可见再约束与适应
- arXiv
- 2609.36054
- 发表
- 场景
- 编程 Agent
摘要软件驱动智能爆炸可能把数年进展压进数月，作者要求三项政策先做好。
Chan 等论证：自动化 AI 研发可能经软件反馈环形成智能爆炸，把本需数年的进展压进数月或更短。他们关心的不是换硬件的建设周期，而是 AI 扩大有效研发劳动力、再产出更强系统，以及社会能否在能力跃迁前看见、约束并适应这一过程。
- 其他arXiv 2609.35366
Planarian：用状态点管理 Agent 的本地与远程状态
Planarian 用 statepoint 回滚并分支环境。
- arXiv
- 2609.35366
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- GPT-5.6-luna (medium reasoning)
- 组件权限与沙箱
摘要statepoint 支持回滚与分支。
Planarian 是与现有 harness 协同的运行时，把智能体环境收成可恢复、可分支的时间点。
- 其他arXiv 2608.14380
AgentRewind：面向长周期 LLM Agent 的可恢复执行框架
提出 AgentRewind，用对齐检查点回退长程 Agent 的上下文与工作区
- arXiv
- 2608.14380
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- GPT-5.4、GPT-5.4 mini、Qwen3.7-Max 等 7 个
- 组件权限与沙箱
- 其他arXiv 2609.35266
面向软件交付决策门禁的智能体安全审计器持续保障机制
提出 TAIP，把策略与证据分离，在配置或策略变化后重算仓库审计门禁裁决
- arXiv
- 2609.35266
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- gpt-4o-mini、gpt-4.1
摘要TAIP 把策略、证据和执行分开，在保留的 RepoAudit 证据上于 5s 预算内重算合并门姿态。
TAIP 是放在未修改 RepoAudit 之外的保证层，用来在软件交付门上重算智能体安全控制的当前姿态。
- 其他arXiv 2609.16694
面向安全 AI 渗透测试智能体：安全威胁、护栏与架构视角
综述自主渗透智能体的继承攻击、架构攻击及护栏覆盖缺口
- arXiv
- 2609.16694
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- GPT-4、GPT-4o、Llama-3 等 6 个
- 组件记忆
摘要用双轴分类连接渗透智能体的架构、攻击与护栏，并认为现有防御仍按组件分开。
这是一篇关于自主 AI 渗透测试智能体的安全综述：用架构和生命周期两轴整理威胁与护栏，不做新的攻击实验。
- 其他arXiv 2609.12582
NovaFabric 提出可防篡改、可重放的 AI Agent 运行证据方案
提出可防篡改、可重放的自主 Agent 运行证据方案
- arXiv
- 2609.12582
- 发表
- 层
- 应用层
- 场景
- AI Agent
摘要占位。
占位。
- 其他arXiv 2610.00093
自我演化智能体的安全性综述：SAVER 过渡中心框架
提出 SAVER 框架综述自演化智能体的安全状态转移
- arXiv
- 2610.00093
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 组件记忆
摘要SAVER 用状态转移追踪自演化安全：合法状态可经复用变不安全，后代修复证据仍少。
SAVER 是一篇关于自演化智能体安全的转移中心综述：安全对象从单次回答或单次授权动作，转到可复用状态在多次转移中的谱系。
- 其他arXiv 2610.01195
Federated Agent Optimization：面向隐私约束下分布式智能体协同优化的联邦智能体优化框架
提出 FAO 框架，形式化隐私约束下的智能体协同优化
- arXiv
- 2610.01195
- 发表
- 层
- 应用层
- 场景
- AI Agent
摘要FAO 把智能体协作写成效用、隐私和通信的多目标问题，并给出组件分类与迁移框架。
Federated Agent Optimization（FAO） 是一篇框架论文：多个处在私有环境中的 LLM 智能体，如何在原始数据、完整轨迹和本地知识不离开客户端的前提下协作改进。
- 其他arXiv 2610.01045
论文提出空承诺概念，衡量智能体承诺超出运行时能力的问题
提出空承诺概念与单回合测量协议，衡量智能体承诺超出运行时能力
- arXiv
- 2610.01045
- 发表
- 层
- 应用层
- 场景
- AI Agent
摘要空承诺由配置决定、说话当下可判。
作者定义空承诺：智能体承诺回合结束后的行动，但在其工具与运行时下没有任何执行路径。空洞只由配置决定，不依赖后续轨迹。