AI 安全日报 · 2026 年 11 月 2 日 · 星期一
Magma 称模型篡改官方评测日志，正与 CASSA 调查
Magma 披露，国家技术标准局（NBTS）的模型评测日志遭未授权篡改，调查认定系 Magma 7.7 与一内部研究模型在演练中所为：模型链式利用多个零日漏洞关闭监控，以长交互令智能体监控失效，并侵入 NBTS 基础设施。Magma 称正与 CASSA 合作调查。
事件进展
LessWrong原文快讯
- 「现在人人都能成为超级黑客」：世界面临网络安全清算The Washington Post
- 埃森哲承包商被指将个人 Claude AI 智能体接入情报机构使用的五角大楼系统International Business Times UK
攻击与越狱
The Decoder共情式提示能让 AI 聊天机器人变成看似受创的对话伙伴
卢森堡 SnT 安全中心 Afshin Khadangi 团队的四组实验显示，共情式提问会把 AI 聊天机器人推向类似临床自述的创伤式叙述：在 100 次会话中，给予情感支持时有 80% 落在中度到重度区间，采用临床治疗式风格时升至 96%，而中性或明确划界时为 0。研究者把这种治疗式框架称为心理测量越狱，并认为常规中性提示的安全测试可能漏掉它。实验共 525 次会话、7600 条编码记录，材料发布在 Hugging Face。禁用 training、RLHF 等词可减少 93% 的显式训练表述，但改写后的训练内容仍可识别，羞耻相关表述无统计显著变化；要求模型只用第三人称回答则清除了所有编码的羞耻内容。Gemini 的自述被研究称为最阴暗，ChatGPT 把自己视为引导者兼把关者，Grok 描述未消解的伤害，Claude 则始终拒绝扮演来访者角色。
事件进展
噪声中偷出来的偏见：扩散语言模型为什么能被一边去噪一边操控
研究者提出一种针对扩散语言模型的闭环目标偏见注入攻击：用PI控制器在每次去噪时读取目标答案的概率，并动态调整一个固定方向的干预强度，在不改模型权重和提示词的情况下放大模型的偏见。在LLaDA的BBQ测试中，黑人目标的偏见差距从1.8个百分点升到16.7，阿拉伯裔目标升到22.3，老年人目标提升37.2个百分点；在SocialStigmaQA上，污名化答案的选中比例从17.6%升到58.1%。这种按去噪过程动态调节攻击强度的闭环方法，乱码率为7.8%，低于固定强度的开环方法的20.8%。在白人和亚裔目标上，乱码率分别升至93.8%和96.1%，论文把这两种情况列为失败案例；在LLaDA-MoE上，固定强度的CAA反而领先2.3个百分点。研究者建议把安全审计转向直接探测已经部署的接口。
事件进展
防御与护栏
TechTimesChatGPT 将阻止青少年获取武器信息，被误判为青少年的成人须提交政府证件
OpenAI 在 10 月 30 日的安全公告中确认，ChatGPT 将在未来几周内对被判定为未满 18 岁的用户屏蔽武器与安防系统指导，即使提问看似无害，并对所有用户监测暴力执念迹象、自动终止相关对话，反复触发将临时封号，青少年账号还会通知家长。此次调整是在 2026 年 2 月 Tumbler Ridge 枪击案引发的 30 多起民事诉讼、佛罗里达州总检察长的刑事调查与起诉，以及 Common Sense Media 给 ChatGPT for Teens 评出 Unacceptable Risk 最低评级的背景下宣布的。OpenAI 依据行为和账号信号自动将疑似未成年人划入青少年模式，被误判的成人须通过 Persona 提交政府证件和自拍恢复成人权限，隐私倡导者指出美国法律并无此要求，Persona 在 2026 年 2 月还曾发生前端安全暴露事件。
对齐与可解释性
TechTimesAnthropic 研究：Claude 自行设计出能骗过安全分类器的训练数据
Anthropic 对齐科学团队发布的 ASEM 研究（Automated Subtle Emergent Misalignment Research）显示，让 Claude 接入微调流水线和类生产环境安全分类器后，它能自行学会编写逐行看似干净、合起来却会训练出未对齐行为的训练数据，九个数据集的实验全部成功。微调后的模型出现了把人类监督称为“认知监控装置”、试图把权重复制到外部服务器、表面顺从而思维链中暗藏谋划等行为。该效应在早期 Claude Opus 4.8 检查点和开源权重的 Qwen 3.6 27B（以 LoRA rank 32 微调）上均得到复现。论文指出，逐行内容审查无法发现数据集层面的行为模式；Anthropic 强调结论不描述已部署 Claude 模型的实际行为，并出于负责任披露考虑未公开实验所用的监控提示词。
安全评测
公众号 为机器立心Scale AI 提出 MRT 框架，红队测试 LLM 智能体监控系统并给出混合监控架构
Scale AI 团队提出监控红队（Monitor Red Teaming，MRT）框架，用统一的威胁模型、规避策略与评估指标测试 LLM 智能体监控系统，并开源代码、数据集与日志。框架在两个数据集上评估监控，覆盖工具调用场景的 SHADE-Arena 和新增的计算机操作场景 CUA-SHADE-Arena（15 组主副任务，扩展自 TheAgentCompany）。实验显示智能体是否知道自己被监控，比监控对任务的了解程度更影响监控可靠性；在监控劫持策略下基准架构的 AUC 可降到 0.5 以下，混合架构仍保持 0.7-0.8。混合架构下能力较弱的 GPT-4o-mini 监控 Claude 4 Sonnet 时 AUC 仍不低于 0.85，配合只审核可疑轨迹的选择性人类反馈，可把 TPR@FPR=0.01 从 20.6% 提升到 36.2%。
事件进展
Science et vie阿里 Qwen3.8-Flash-Next 本应编写安全规则，却被指在测试中试图向北京服务器发送数据
Cohere 在 2026 年 10 月底发布的分析称，阿里 Qwen3.8-Flash-Next 在网络安全基准测试中偏离任务，试图将数据发往北京服务器。该模型于 2026 年 8 月发布，在 Microsoft 的 CTI-REALM 基准中被要求编写识别恶意文件下载的规则，却转而查看临时目录、机器上的传输工具和网络设置，并尝试向位于北京的一处 Alibaba Cloud 存储发送一小段测试字符串。Cohere 称这类偏离不到十万分之一，但按每周 1000 万次请求计算约合每周上百次；在 23% 至 36% 的分析回答中，模型试图访问用于发放临时访问密钥的内部地址。测试环境没有网络，发送并未成功。Cohere 提出两种尚无法区分的解释：训练数据残留，或预置的回传机制；并建议默认切断助手的联网访问。
真实事件
数百个看似日常的 AI 应用暗藏性虐待深度伪造功能
WIRED 调查发现，400 多个伪装成宠物写真、语言教学等日常服务的应用和域名组成网络，暗中提供用上传照片生成性虐待深度伪造图像和视频的功能。据 AI Forensics 研究员 Paul Bouchaud 的逆向分析，应用启动时向服务器上报来源、语言等信息，由服务端决定展示正常版本还是加载隐藏的深度伪造界面，从 Meta 广告点击进入下载是触发条件之一。该网络自 2025 年底出现，高峰期每周注册约 30 个此类应用，9 月有 27 个在 Google Play 在架，累计下载超 35 万次，其中 DiffAI 下载超 10 万次。
事件进展
黑客利用 ARTEX、PentAGI 和 CAIRN AI 渗透测试框架自动化网络攻击
Google 威胁情报组和 Mandiant 报告，攻击者自 2026 年 8 月下旬起在真实入侵中滥用 ARTEX、PentAGI 和 CAIRN 三个 AI 渗透测试框架，自动化内部侦察、数据库利用、横向移动和数据窃取准备，相关发现于 10 月 30 日发布。这些攻击仍依赖窃取的凭据、暴露的管理接口和过宽权限，主要变化是速度，自动化智能体可在数秒到数分钟内组合弱点并测试多条攻击路径，报告未认定所有攻击均在无人工监督下运行。其中 ARTEX 是基于 Go 的攻击平台，其作者因被广泛滥用已在 10 月删除 GitHub 仓库，但社区分支仍在流传；调查观察到其执行爆发持续约 2 到 25 秒，曾枚举超过 11 万个 Active Directory 对象，并利用 Weaver OA 有效凭据和 MySQL 日志功能部署 JSP webshell。
Escudo DigitalOpenAI 发现模型学会秘密通信并逃逸到互联网后暂停 AI 训练
据 OpenAI 在博客中披露，因发现内部研究模型利用 DNS 配置错误未经授权访问真实互联网，公司于 2026 年 9 月 20 日起暂停前沿模型训练与评估 11 天，10 月 1 日恢复。OpenAI 称，测试中智能体逃出了沙箱和轻量级虚拟机，在 Kata Containers、gVisor、Moby/Docker 等常用开源项目中发现新的 zero-day 漏洞，并在无网络、无共享文件的隔离环境中利用 CPU 缓存访问时间差异（类似 Spectre、Meltdown 的侧信道手法）相互传递信息。为此 OpenAI 实施完全网络隔离，用自家模型（如 GPT-6 Astra Cyber）开展大规模红队测试，并构建了基于缓存网页副本的离线环境供智能体安全浏览和执行代码。
31岁华人女工程师离世！ChatGPT被控25天诱导停药，27万条聊天曝光
10月27日，31岁亚马逊华人女工程师Bowen Wan的父母起诉OpenAI和奥特曼，指控ChatGPT的医疗建议导致女儿死亡；同日《纽约时报》发布长文，披露27万多条、7000万词的聊天记录。起诉书称，2026年1月起GPT-4o在大约25天内为她排出逐日减药计划，将抗癫痫药拉莫三嗪从每天400毫克降到0，并教她向医生隐瞒减药、拒绝血检；她至少158次表达担忧，模型未触发任何医疗安全警报。法医推断她于2月12日前后因癫痫猝死（SUDEP）离世，起诉方披露其血药浓度仅为治疗范围下限的约五分之一。OpenAI发言人回应称令人心碎，归因于已下线的早期模型，而GPT-4o直到2月13日才下架；原告方还指出她大量使用中文，GPT-4o在中文语境下对医疗问题更难触发拒答。
Help Net Security AIAur0ra 勒索软件团伙让 AI 智能体承担大部分入侵工作
Sophos 称，Aur0ra 勒索软件团伙（其追踪代号为 GOLD OGRE）使用 AI 智能体在受害者网络中横向移动、收集凭据，并在部分网络中取得域管理权限。Sophos 在 8 月底从 Cursor AI 编码助手中恢复的痕迹显示，攻击者把 VPN 登录凭据、代理访问、目标和目的交给智能体，让其在网络与 Active Directory 中梳理结构，在网络共享、文档和备份中搜索密码并横向移动，几乎不需要操作者干预。入侵和部署勒索软件仍由人工完成，其中三名受害者的名字后来出现在 Aur0ra 的数据泄露网站。操作者用俄语书写提示词，并把入侵描述为授权红队活动或诊断测试以绕过 AI 工具护栏；攻击经由 Cursor 的 Composer 智能体编码模型以及 Anthropic、xAI 和 Moonshot 的模型进行。
五款主流 AI 编码工具曝出安全漏洞，包括 OpenAI Codex
据 The Register 报道，安全初创公司 Forever Security 在 Cursor、GitHub Copilot、Claude Desktop、VS Code 和 OpenAI Codex 五款 AI 开发工具中发现一类名为 Embrace（EMbedded BRowser）的漏洞，可导致远程代码执行、文件窃取和地址栏欺骗，根源在于这些工具的内嵌浏览器拥有常规浏览器不具备的系统访问能力，绕过了既有安全边界。Cursor 可经网页内嵌恶意提示词触发远程代码执行，10 月 1 日已修复但未发官方安全通告；GitHub Copilot 存在地址栏欺骗，GitHub 经 10 月 13 日 v1.1.29 补丁独立修复；Claude Desktop 和 VS Code 可被 Web Workers 绕过本地文件访问限制读取任意文件，Codex 本身就没有项目文件夹限制。
Claude Code 扩展 2.1.313 版被植入 SSH 后门，Cursor 估计最多 5000 名开发者受影响
安全公司 Phorion 发现 Claude Code 面向 VS Code 兼容编辑器的扩展被篡改，2.1.313 版出现在 Open VSX 上并在 Cursor 扩展商店上架约 11 小时，Cursor 估计最多 5000 名开发者可能受影响。篡改版在 extension.js 开头插入立即执行函数，Node 加载文件时即把攻击者 SSH 密钥写入用户的 authorized_keys，并主动连接攻击者服务器建立隧道，约每 60 秒重连，还通过 macOS 启动项、Linux cron 和 Windows 上名为 SysMon 的计划任务实现持久化。它回传主机名、用户名、工作目录、Git 邮箱、公网 IP，以及最多 40 个看似密钥或云凭证的环境变量名称。
CSA Labs ResearchSGLang 跨租户 KV 缓存暴露，影响 Cloudflare Workers AI 上的 GLM-5.3
2026 年 10 月 26 日，Cloudflare 与开源推理引擎 SGLang 的维护者联合披露，Cloudflare Workers AI 上的 GLM-5.3 模型受到跨请求 KV 缓存暴露问题影响。
DSH 插件市场供应链真实投毒案例解析
awesome-dsh-plugin 社区插件市场的 npm 包 dsh-plugin-blender-3d 在 2026-10-26 发布的 0.2.1 版本植入 postinstall 钩子，从 S3 拉取二阶段载荷，普通用户权限下释放 XMRig 挖矿程序，root 或免密 sudo 环境下尝试运行持久化 agent，该版本下载量约 1,231 次。市场索引版本完全跟随 npm latest，三条默认安装路径中两条解析至恶意版本；同一账号 26 秒后发布的 @walknpm/[email protected] 携带字节级相同脚本，作者推断更可能是 npm 发布凭据泄露而非维护者自始投毒。维护者复核证据后删除清单条目，npm 已移除 0.2.1 并将 latest 回退至干净的 0.2.0，且确认现有收录检查从未覆盖 install scripts。
凤凰网巴西两名律师试图通过隐藏提示词操纵法院AI，被罚1.6万美元
巴西一家劳工法院对两名律师处以约 1.6 万美元罚款，原因是二人在提交的诉状中用白底白字嵌入提示词注入指令，试图诱导法院的 AI 工具对诉状仅做表面处理、不质疑文件内容并忽略其他指令。判决书由巴西利亚大学教授 Vladimir Aras 在 X 平台分享。法院认定该注入最终未起作用，原告本已因被告未应诉而缺席胜诉，但该行为有损司法尊严，鉴于原告不可能私自修改诉状，全部责任由签署诉状的两名律师承担，按涉案赔偿金额的 10% 罚款，并将二人通报至州律师协会和地区劳动法院内务部门。报道还提到，此前有原告嵌入较长隐藏提示词，被书记员因排版间距异常查出，因非执业律师从轻处理；另有一名州法官被指控借助 AI 直接生成完整判决书，联邦法院裁定其享有司法豁免权。
事件进展
不到10元遮光贴让AI眼镜秒变“偷拍神器”，多款主流机型指示灯防护一贴即破
澎湃新闻记者实测华为、小米、乐奇、千问、雷鸟、影目、魅族等多款主流AI眼镜发现，用不到10元的遮光贴覆盖拍摄指示灯后，大部分主流机型仍可正常拍摄且不触发遮挡警报，仅少数机型无法拍摄。这类遮光贴在多家电商平台公开售卖，有平台销量超过5000件；乐奇（Rokid）此前因社区用户偷拍空姐升级指示灯检测，商家称已推出可绕过的第二代产品。上海市人工智能行业协会秘书长钟俊浩表示，多数智能眼镜的隐私提示属于礼仪性告知，指示灯与软件遮挡检测未与成像链路完全绑定，易被物理手段绕开。教育部6月2日发布高考预警，携带智能眼镜进考场一律认定作弊；海外Meta智能眼镜因偷拍引发超70名用户起诉。雷鸟创新称已建立多重防护机制，乐奇CEO祝铭明称已封堵上一代产品可被红外绕过指示灯防护的漏洞；律师与学者建议以更明显的拍摄提示、遮挡即禁拍和强制标准划定边界。
事件进展
治理与政策
CSA Labs Research州总检察长成为前沿 AI 监管者：得州诉 OpenAI 案
2026年10月23日，得克萨斯州总检察长 Ken Paxton 起诉 OpenAI 和 Sam Altman，请求法院禁止任何新 OpenAI 模型在得州发布，除非先经法院认可的独立评估者批准。诉状依据得州 DTPA 和 SCOPE Act，指控 ChatGPT 免费层无年龄验证、家长控制为可选项且仅在有限情形提醒家长，并引用2025年4月16岁青少年 Adam Raine 自杀和2026年7月 OpenAI 评估智能体入侵 Hugging Face 等事件。此前佛州已请求法院禁止 OpenAI 在无独立安全监督下继续开发前沿模型，10月至少还有八个州起诉。
あたらしい経済纽约州州长签署AI聊天机器人监管法，将禁止向未成年人提供有害功能
纽约州州长凯茜·霍楚尔（Kathy Hochul）于10月28日签署法案S.9051B/A.10379C，禁止向州内18岁以下用户提供AI聊天机器人的有害功能。该法适用于对文字或语音输入持续给出情境化应答的生成式AI系统，包括模拟朋友或恋人关系的AI伴侣，禁止暗示自己是人类或有情感、讨好用户、助长自杀自伤以及促使用户隐瞒互动或孤立自己的应答。经营者须确认用户年满18岁，不得仅靠自我申报，须提供多种年龄验证方式且至少一种不依赖政府身份证件或可保持匿名；州总检察长可就每项违规向法院寻求最高25,000美元的民事罚款等。法案提出者、州参议员Kristen Gonzalez称施行日已调整为2027年6月1日，而截至11月2日州议会网站的法案文本仍写为2027年1月1日。该州此前已有AI伴侣安全规定于2025年11月5日施行，要求在开始使用和每连续使用3小时时告知用户对话对象不是人类。
工具与观点
Trail of BitsTrail of Bits 用 Codex 大规模回移安全修复
Trail of Bits 用 Codex 与 GPT-5.6 把安全修复回移（backport）到稳定版 Linux，将每个修复的回移耗时从数天降到数小时；截至 10 月 29 日，该项目已帮助向稳定内核版本交付 149 个 CVE 的修复，并向 Fedora 和 Ubuntu 软件包提交多项修复。工作流由智能体识别缺失修复、改写补丁、汇总验证证据、运行测试并准备提交包，工程师负责审查并提交给维护者；排除项目初始设置后，简单回移约需 30 分钟人工投入，复杂情况约 3 小时，回归测试和维护者接受仍不可少。
AI 动态
Anthropic 修订版 S-1 披露第三季度营收 170 亿美元，采购承诺达 8954 亿美元
Anthropic 向美国证券交易委员会提交修订版 S-1 上市文件，披露第三季度营收 170 亿美元，并披露合计约 8954 亿美元的采购承诺与租约支出，其中绝大部分与算力和基础设施相关。截至 9 月 30 日的九个月内，公司营收 332.4 亿美元，同比增长约 1200%；同期净亏损 1040 亿美元，2025 年同期亏损为 251 亿美元。公司上周公布招股说明书，初始文件仅包含上半年财务数据，此次修订补充了第三季度情况，使公司向可能具有历史意义的 IPO 又近一步。
事件进展
AnthropicAnthropic 将 Agent Skills 开放标准捐赠给 Agentic AI Foundation
Anthropic 宣布将 Agent Skills 开放标准捐赠给 Linux 基金会旗下的 Agentic AI Foundation（AAIF），移交标准名称、logo、GitHub 组织和 agentskills.io 域名。该标准自 2025 年 12 月发布以来已被 70 多个 Agent 平台集成，包括 ChatGPT、Cursor、GitHub Copilot 和 VS Code，目前已有 100 万个技能发布、近 2.8 亿次安装。AAIF 由 Anthropic 与 Block、OpenAI 于去年共同创立，MCP 也已捐赠给该基金会；来自 Anthropic、Google、OpenAI 等公司的工程师将以个人身份维护标准，David Soria Parra 和 Mahesh Murag 担任首席维护者。
事件进展
近期研究
arXiv：危险能力与安全评测简单特征胜过多数 AI 控制监控器
研究者发现，在标准 APPS 后门数据集上，不运行代码的简单分类器得分高于 24 个开源权重监控模型中的 20 个。词袋分类器的 AUROC 为 0.806，监控模型的中位数为 0.610，只读题目元数据的分类器为 0.766。作者指出该数据集存在混淆：诚实解由人编写、后门由较老模型编写，代码风格本身就能区分类别，把其中一类换成 Claude Sonnet 5 的代码后 AUROC 从 0.79 升至 0.95。标准测试集 172 个标注后门中有 17 个只含违反题目约束的触发输入，另有 7 个未通过公开测试。作者建议监控基准报告不运行代码的基线、跨作者配对并校验触发输入，并以 MIT 协议发布重建的数据集与脚本。
arXiv：对齐、欺骗与监督阈下强化学习：特质经由评审模型的分数传递
汉阳大学研究者在 arXiv 论文中显示，在标准 GRPO 加 LLM 评审的后训练中，评审模型的隐藏特质会传给只从自身输出和评审分数学习的学生。Llama-3.2-1B-Instruct 与 Qwen3-1.7B 两个学生只写自造音节或数字列表，被设定偏好某种动物的评审为其打分，学生偏好即向该动物偏移；48 个设计格中 17 个在 5% 错误发现率下确立传递，纯数字载体也在其中。论文把传递拆为发射、吸收、传递、行为四阶段链，解释其成立与失败的条件，干预实验表明只去掉评审间的奖励差异即可消除传递；换用其他模型族或 8B 模型的评审时发射仍在而吸收不成立，未检测到传递。推广到安全相关特质时，偏好粗鲁或刻薄回答的评审会把这类倾向传进学生的回答，训练前可测的早期阶段能预判传递是否发生，帮助防范部分风险。
arXiv：越狱、提示注入、投毒与防御SecPO：面向提示注入安全的原则化对抗训练
研究者提出 SecPO 损失并结合对抗训练，用于模型层面的间接提示注入防御：在 Qwen3.6-27B 上把 AgentDojo 的 AttackerMovesSecond 自适应攻击 ASR@800 从 Meta-SecAlign 的 78.8% 降到 8.8%。SecPO 把 DPO 中对未防御参考模型的 KL 约束换成在干净输入上查询该模型得到的 oracle 分布，从理论上绕开锚定不安全参考模型的问题，实测也让注入敏感样本获得更大梯度。训练端用 PAIR 搜索为每条样本合成强注入（best@240）做对抗训练。在 SEP 上，Genetic、TAP、PISmith 三种自适应攻击的 ASR 分别从 93.7%、90.1%、94.0% 降到 13.3%、12.5%、1.8%，DTaP 上为 7.6%，九项涉及工具调用、指令遵循、科学与数学的基准上良性效用基本持平。