跳到正文

上海人工智能实验室

今天新收录 1 条
上海人工智能实验室

研究话题

提示注入368Agent 安全1576欺骗与谋划114奖励作弊153思维链监控168可解释性342AI 控制240后门与投毒121隐私与数据泄露440供应链安全568危险能力388AI 与网络攻防281开源模型安全276红队403

公司与机构

OpenAI720Anthropic687Google DeepMind364Meta149xAI66Microsoft107NVIDIA102DeepSeek81阿里巴巴 · Qwen94智谱 · GLM40月之暗面 · Kimi44字节跳动5腾讯37蚂蚁集团1上海人工智能实验室7UK AISI120US CAISI34METR78Apollo Research17Redwood Research43FAR.AI67Palisade Research3

报告与框架

System Card24前沿安全框架334
今天10月8日周四
  1. 小红书 上海大学 刘东瑞 AI safety · 收录 · 原文 日期未知↑158

    上海 AI Lab：Agent 说谎前欺骗是否已被表征？

    上海 AI Lab 的笔记讨论了在智能体欺骗行为外显之前分析其内部表征的研究问题，涉及事后监控、自发欺骗机制，以及预测相关性与因果干预的区别。该笔记为观点转述，底层论文身份及实验尚未确认。

    观点#上海人工智能实验室#Agent 安全#欺骗与谋划#观点与讨论
    1 条报道 · 1 个来源查看事件时间线与全部报道
10月2日周五
  1. 安远AI · 收录 · 原文 22

    全球40余位专家共倡AI×Bio安全，姚期智、张卫文、谢旻希等签署声明

    2025年7月发布的《关于人工智能与生命科学融合的生物安全风险的声明》，获超40位专家联署，含姚期智、Yoshua Bengio、George Church、张卫文、谢旻希等，由核威胁倡议组织（NTI）官网首发。声明警告AIxBio能力既降低制造有害生物制剂的准入门槛又抬高危害上限，还能削弱传染病监测、医疗防护与核酸合成筛查等防御体系，尤其点名面向科学发现的AI智能体能自主执行多步任务并被滥用。声明呼吁各国政府、产业界、学界与资助方共建技术护栏与治理机制，投入负责任的研发并推动国际合作。

    治理#上海人工智能实验室#危险能力#政策与监管#观点与讨论
  2. 安远AI · 收录 · 原文 15

    Concordia AI 2025 年度影响力亮点回顾

    Concordia AI 回顾 2025 年在 AI 安全与治理领域的工作，包括在 WAIC 举办 AI 安全与治理论坛，汇聚约 30 位专家、200+ 现场参会者与 14,000+ 直播观看。机构还与 Carnegie Endowment、Oxford Martin School、清华 CISS 与 I-AIIG 等联合举办两场国际研讨会，分别聚焦"AI 安全作为集体挑战"与"先进 AI 的早期预警与危机协调"。CEO 谢旻希参与首尔国际 AI 标准峰会、法国 AI 行动峰会及 AIxBio 生物安全治理对话。

    治理#上海人工智能实验室#FAR.AI#危险能力#政策与监管#前沿安全框架#观点与讨论
  3. 安远AI · 收录 · 原文 28

    AI Safety in China #26：OpenClaw 推动 AI 智能体安全进入政策主流

    OpenClaw 在中国快速普及引发监管连锁反应，工信部 NVDB 于 2 月 5 日预警部分版本存在较高安全风险，CNCERT 随后警告提示注入攻击、意图误读、恶意插件等问题，国家安全部发布《安全养殖手册》警示其传播虚假信息的可能。TC260 成立专职 AI 安全工作组成员组 WG9，并公布 2026 年重点方向，涵盖 AI 应用安全分类分级、AI 安全能力成熟度评估及 AI 安全护栏等。

    治理#蚂蚁集团#上海人工智能实验室#提示注入#Agent 安全#政策与监管#前沿安全框架#工具与开源
  4. 安远AI · 收录 · 原文 46

    安远AI在WAIC发布前沿AI风险监测平台2.0

    安远AI在2026年世界人工智能大会上发布前沿AI风险监测平台2.0，包含风险指数2.0版、2026 Q2风险监测报告和前沿AI风险测评基准数据库三项更新，以及与复旦大学等合作的自主网络渗透评估报告。风险指数2.0把风险指数改为能力分的指数函数，能力分超过能力黄线阈值C0后风险加速增长，并把总安全分拆为基础安全分S1、越狱安全分S2和篡改安全分S3；测评基准新增CVE-Bench、BixBench、FrontierScience和自研FRT红队框架，FRT从2023至2026年的100多种攻击方法中筛选出22种高成功率方法，再为每个模型选取最有效的3种。测评基准数据库收录2023至2026年间200多项基准，并按风险场景关联能力、倾向、护栏三类测评功能点。合作研究对19个前沿模型评估自主网络渗透能力，Tier 1渗透成功率最高69.3%，Tier 2最高68.7%。

    评测#上海人工智能实验室#Agent 安全#危险能力#AI 与网络攻防#安全评测#OpenAI
  5. 安远AI · 收录 · 原文 36

    习近平首次出席 2026 世界人工智能大会，Concordia AI 将主办前沿与智能体安全论坛

    2026 世界人工智能大会（WAIC）于 7 月 17 日至 20 日在上海举行，习近平首次亲临开幕式并发表讲话，这是该会议政治规格的新里程碑。WAIC 自 2018 年起每年举办，2018 年习近平致贺信、副总理刘鹤出席讲话，2019 至 2023 年现场最高级别出席者为上海市委书记，2024 和 2025 年由总理李强致开幕辞。本届 WAIC 设有 140 多个专题论坛，其中包含多场 AI 安全与治理论坛。Concordia AI 将于 7 月 19 日 8:45 至 12:30（UTC+8）在上海世博桐森酒店 3 楼 1、2 号功能厅主办前沿与智能体安全论坛，并在官方 WAIC App 直播；去年该论坛现场参会超 200 人、直播观看超 14000 次。

    治理#上海人工智能实验室#Agent 安全#政策与监管#前沿安全框架
  6. 安远AI · 收录 · 原文 32

    2026 WAIC 上海前沿与智能体 AI 安全论坛要点总结

    2026 年 7 月 19 日，Concordia AI 在上海世界人工智能大会（WAIC）举办前沿与智能体 AI 安全论坛，约 30 位专家参会、现场约 300 名观众，直播观看量超 30 万。图灵奖得主 Yoshua Bengio 在主题演讲中指出 AI 在推理、编程、科学与自主智能体能力上快速进步，而安全措施未能同步，并强调开放权重模型在撤回部署、移除护栏与风险评估上的独特挑战。论坛围绕前沿 AI 风险监测、智能体 AI 全生命周期安全治理与全球治理视角三大主题展开。

    治理#上海人工智能实验室#Agent 安全#开源模型安全#政策与监管#前沿安全框架
已经到底了