其他arXiv 2609.10630
论文提出 AI 安全设计保障架构:结合 Scientist AI 模型级监督与系统级控制
提出结合模型级监督与系统级控制的智能体保障架构
- arXiv
- 2609.10630
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 风险Agent 危险操作
- 组件监控器
摘要作者梳理事件中的多层失效,主张监督模型、系统控制与证据治理并用。
Lu 与 Bengio 给出的是一套可逐层上移的保障架构和一组事件归类,不是已测量的防御系统。
提出结合模型级监督与系统级控制的智能体保障架构
Lu 与 Bengio 给出的是一套可逐层上移的保障架构和一组事件归类,不是已测量的防御系统。
综述自主渗透智能体的继承攻击、架构攻击及护栏覆盖缺口
这是一篇关于自主 AI 渗透测试智能体的安全综述:用架构和生命周期两轴整理威胁与护栏,不做新的攻击实验。
访谈残障成人,分析向记忆型助手披露残障时的信息流与语境完整性
提出 SAVER 框架综述自演化智能体的安全状态转移
SAVER 是一篇关于自演化智能体安全的转移中心综述:安全对象从单次回答或单次授权动作,转到可复用状态在多次转移中的谱系。
研究提出"内核管理共享内存",由智能体系统内核而非单个智能体统一负责记忆检索、隐私执行与提示注入。
kernel-managed shared memory 把多智能体的检索、隐私和注入收进 agent-system kernel,并在 AIOS 上与三种替代方案比较。
综述智能体执行链路中的越狱攻击、防御与实践权衡
Mia 等人把越狱安全从单轮回复扩展到智能体的规划、记忆、工具和智能体间通信,并问既有结论在更强原生对齐下是否还成立。
提出威胁分类 T 并映射智能体红队研究与安全基准的覆盖
主张开展嵌入式评估,审查内部智能体监控、权限与模型对齐
嵌入式评估是一种第三方评估:独立评估者在前沿 AI 开发者现场获得接近员工的系统、人员与文档访问,用来审查依赖内部系统与实践的风险。