事件观察中
北大与微信安全团队发布通用智能体全生命周期安全综述
先了解这件事
AI 综述
北京大学知识计算实验室与腾讯微信安全技术团队发布通用智能体安全综述,将智能体运行分为来源、编排、执行三阶段,指出执行结果写入长期记忆、技能或工件后形成持久反馈,使一次攻击可跨会话存活并放大;总结技能供应链、用户侧、长期记忆与外部环境四类攻击面,归纳三条评测主线与三层防御,提出自进化智能体安全闭环。
AI 根据报道生成 · 3 天前更新
走势与进展
每小时关注度
现在 27,24 小时 -1%·峰值 31(11月14日 16:00)
11月15日11月16日11月17日11月18日11月19日11月20日现在 27
后续时间线
11月17日
- 公众号Doonsec· 媒体跟进当AI学会“动手”:通用智能体全生命周期安全攻防与破局(新标签页打开原帖)
11月14日
- 网页机器之心· 媒体跟进打开「潘多拉工具箱」:北大、微信安全团队构建通用智能体全生命周期安全图景(新标签页打开原帖)
- 公众号 机器之心打开「潘多拉工具箱」:北大、微信安全团队构建通用智能体全生命周期安全图景
北京大学知识计算实验室(KCL)与腾讯微信安全技术团队联合发布综述论文《Pandora's Toolbox》,从生命周期视角系统梳理通用智能体的安全风险、攻击方法、评测基准与防御技术。论文将智能体运行划分为来源、编排、执行三个阶段,并强调执行结果写入长期记忆、可复用技能或项目工件后形成的持久反馈,使一次攻击可跨会话存活并放大;沿此框架总结技能供应链、用户侧攻击、长期记忆与外部环境四类攻击面,将评测归纳为领域专用评测、通用评测与离线轨迹审计三条主线,把防御分为输入与上下文过滤、决策与控制完整性、运行时监控与执行约束三层,并针对自进化智能体提出风险生成、风险诊断、安全演化的持续安全闭环。论文全文见 https://openreview.net/forum?
相关讨论
共3条
- 公众号Doonsec当AI学会“动手”:通用智能体全生命周期安全攻防与破局(新标签页打开原帖)
- 72 小时以前 · 不计入 72 小时的数字
- 网页机器之心打开「潘多拉工具箱」:北大、微信安全团队构建通用智能体全生命周期安全图景(新标签页打开原帖)
- X@bitbiz_bruce北京大学知识计算实验室与腾讯微信安全技术团队联合发布通用智能体安全综述,提出覆盖来源、编排、执行和持久反馈的统一分析框架。 论文指出,智能体能选择技能、调用工具并读写长期记忆,安全风险不只在模型输出,还涉及能力的加载与组合、实际动作及执…(新标签页打开原帖)
1 赞·11月14日 16:41采集
关注度走势
每天新增来源
- 11月14日新增2个来源(1家媒体、1个账号)
- 11月15日新增0个来源(0家媒体、0个账号)
- 11月16日新增0个来源(0家媒体、0个账号)
- 11月17日新增1个来源(1家媒体、0个账号)
- 11月18日新增0个来源(0家媒体、0个账号)
- 11月19日新增0个来源(0家媒体、0个账号)
- 11月20日新增0个来源(0家媒体、0个账号)