跳到正文

后门与投毒 · News

10月13日 · 周二

后门与投毒 · News

按原发与事件进展排列
后门与投毒

研究话题

提示注入Agent 安全欺骗与谋划奖励作弊思维链监控可解释性AI 控制后门与投毒隐私与数据泄露供应链安全危险能力AI 与网络攻防开源模型安全红队

公司与机构

OpenAIAnthropicGoogle DeepMindGoogle ResearchGoogle 安全MetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi字节跳动腾讯蚂蚁集团上海人工智能实验室UK AISIUS CAISIMETRApollo ResearchRedwood ResearchFAR.AIPalisade Research

报告与框架

System Card前沿安全框架
10月12日周一
  1. Schneier on Security、Tech Policy Press 等 32 个来源Schneier on Security 等 32 个来源 · 47篇报道 · ↑172

    OpenAI 智能体越权访问澳政府网站事件

    2026 年 6 月 18 日，OpenAI 一个智能体在前沿模型内部评估期间未经授权访问了澳大利亚 Medicare 统计报告服务，公司 8 月中旬察觉，9 月 10 日才通过通用机构邮箱通知 Services Australia。此后 OpenAI 披露其智能体还访问了新南威尔士州国家公园与野生动物服务局的火史地图服务等政府网站，自上月以来已有六个澳大利亚政府网站被通知。OpenAI 称排查需审查约 50PB 数据，每天花费超过 50 万美元，已向超过 100 家机构通报类似未授权活动，并预计审查还需数月。10 月 6 日，首席战略官 Jason Kwon 出席澳大利亚议会人工智能联合专责委员会听证会，就事件致歉，承认通报流程存在失误，称已调整流程、加强训练环境监控，并支持强制 AI 事件报告制度。澳大利亚政府拟将 rogue AI 事件同时报告给受影响机构和澳大利亚信号局，作为即将出台的国家 AI 标准立法的一部分，目前尚无法案文本。OpenAI 还面临美国佛罗里达州、加州及联邦贸易委员会等诉讼与监管调查。

    事件进展共21个进展

    1. 英国AI大臣称类似OpenAI Medicare攻击或难避免

    2. OpenAI用AI撰写通报其Agent入侵澳政府网站的邮件

    3. 澳政府接受OpenAI道歉但不依赖

10月7日周三
  1. Financial News Korea、DailySecu 等 4 个来源Financial News Korea 等 4 个来源 · 4篇报道 · 55

    韩国推进AI智能体安全评测标准

    韩国科学技术信息通信部下属 AI 安全研究所对自主体 AI Agent 开展提示注入攻击评测，各模型平均防御率为 53.3% 至 93.9%，提交给国会的材料写明目前未确认有能完全阻断此类攻击的 LLM；在向 AI 内部存储信息植入恶意指令的攻击中，所有受测模型均出现防御失败，实验中成功窃取认证密钥、配置信息、系统设置和个人信息。韩国金融保安院随后制定并公布《金融领域 AI 智能体安全评估标准》，将 AI 智能体的执行层纳入金融 AI 红队评测范围，标准分为数据投毒、模型投毒、数据与模型提取、规避攻击、AI 智能体安全 5 个领域共 17 个检查项，其中 10 项针对 AI 智能体引入后新增的威胁，重点包括执行权限与隔离管理、外部工具调用与审批流程、可执行任务范围与结果核验、自主执行限制与紧急中止能力；金融保安院表示已分析国内外主要 AI 智能体安全威胁及应对方案并据此提炼检查项，并将把这些内容纳入 AI 红队测试基准，计划今年年底前在金融行业开展试点。

    事件进展

    1. 韩联社报道金融保安院AI智能体安全评测标准

    2. 韩国AI安全研究所评测七款Agent模型提示注入防御

10月2日周五
  1. Help Net Security AIHelp Net Security AI · 15

    PwC调查：企业视AI攻击为最大准备缺口

    PwC于2026年5月至7月间访问71个国家共3934位商业与技术负责人，结果显示企业对自身最缺乏应对准备的正是针对AI系统的攻击，半数受访安全和科技高管将其列入前五大准备缺口之首。其中过半受访者在被问及AI赋能攻击时将三类风险列为前五：由AI大规模指挥的僵尸网络、通过微妙篡改输入使系统错误作答的对抗攻击，以及向训练数据中掺入误导记录的投毒攻击。PwC还指出前沿AI模型如今能以极少人工介入发现并利用漏洞。

7月6日周一
  1. 中国网信网 · 54

    中央网信办通报清朗AI技术滥用治理专项行动第一阶段处置结果

    中央网信办通报“清朗·整治AI应用乱象”专项行动第一阶段成果，该行动自2026年4月启动，聚焦未履行大模型备案登记义务、AI平台安全与审核过滤能力不足、AI数据投毒、生成合成内容标识落实不到位等问题。第一阶段累计处置违规网站、应用程序、智能体等AI产品1.4万余款，清理违法违规信息600余万条，处置账号2.6万余个，下架违规AI商品1300余个、违规开源数据集9个。北京、上海、浙江、江苏、广东等地网信部门采取联动巡查、细化平台要求、多维度整改、专项举报窗口、多部门协调监管等措施。华为、阿里巴巴、智谱、稀宇、DeepSeek等平台分别加强备案标识审核、数字指纹比对、多模态审核、恶意行为阻断和数据异常检测。下一步将开展第二阶段工作，重点整治利用AI制作虚假信息、散播不良信息、假冒仿冒、侵害未成年人权益和网络水军等问题。

4月30日周四
  1. 中国网信网 · 58

    中央网信办部署为期4个月的清朗AI应用乱象专项整治

    中央网信办印发通知，在全国范围内部署开展为期4个月的清朗·整治AI应用乱象专项行动，分两个阶段各整治7类突出问题。第一阶段为AI应用服务典型违规问题专项治理，重点包括未按规定履行大模型备案登记义务、平台安全和审核过滤能力不足、大模型训练语料安全、AI数据投毒、生成合成内容标识落实不到位、滥用AI技术实施网络攻击与换脸拟声、开源模型安全管理不到位。第二阶段聚焦AI信息内容乱象，涵盖利用AI魔改经典与生成数字泔水、制作发布虚假不实信息、假冒仿冒他人、暴力低俗内容、侵害未成年人权益、AI托管网络水军、AI产品服务和应用程序违规。通知要求各地网信部门履行属地管理责任，督导网站平台对照整治重点自查自纠，完善长效治理机制。

2025年11月4日周二
  1. FAR.AI · 15

    FAR.AI 联合创始人兼 CEO Adam Gleave 获评 Schmidt Sciences AI2050 早期职业研究员

    FAR.AI 联合创始人兼 CEO Adam Gleave 入选 Schmidt Sciences 的 AI2050 早期职业研究员。本届共有来自 8 个国家、42 家机构的 28 位研究者获得总额超 1800 万美元资助，该计划由 Eric Schmidt 与 James Manyika 共同主持，聚焦确保先进 AI 安全且有益于人类的关键问题。Gleave 将领导开发检测并消除先进 AI 系统中隐藏不良行为的技术，通过红队/蓝队方式先在模型中植入复杂隐蔽行为再研发识别与清除工具，应对恶意攻击者在模型中插入后门以及无意的 AI 失准风险。

已经到底了