AI 安全日报 · 2026 年 10 月 19 日 · 星期一
ARTEX 被指入侵韩国金融机构，约 6.7 万人信息外泄
CrowdStrike 10 月 7 日报告称，9 月底至 10 月初韩国多家金融机构遭入侵，攻击者使用了开源 AI 自主渗透系统 ARTEX。Zscaler 10 月 14 日分析称约 6.7 万人个人信息外泄，并指其默认黑名单未覆盖金融机构。原作者已在 10 月 8 日将项目转为闭源。
攻击与越狱
Schneier on Security训练 AI 求解 CAPTCHA
一项研究构建了由微调 YOLOv8 检测器和开放权重 VLM 组成、按置信度路由的 CAPTCHA 求解系统，在 16 个类别上总体准确率 85.4%、宏平均 84.2%。该系统完全依靠截图和操作系统输入事件运行，不使用浏览器自动化，也不访问 DOM。VLM 给出的每个答案同时作为训练标签，检测器通常在一两次接触后就能吸收原本未训练过的类别，无需人工标注。CAPTCHA 运营方可针对公开的检测器施加扰动，把它的准确率压到 0%，但扰动不影响 VLM，VLM 提供的标签能让检测器恢复；在运营方每月重制扰动的为期一年模拟攻防中，求解器每轮都能恢复，约 70% 准确率的廉价开放权重教师模型与完美 oracle 同样有效。Bruce Schneier 称这是一项有趣的研究。
防御与护栏
不需要提示注入，也能操纵 Agent：分支引导攻击与 COBRA 防御架构
苏黎世联邦理工学院、剑桥大学、帝国理工学院等机构的研究者发表论文《Securing Computer-Use Agents Against Branch Steering Attacks》，提出分支引导攻击并给出系统级防御架构 COBRA。该攻击不改写 Agent 的指令，而是操纵它做判断时依赖的外部数据，使其沿事先允许、却不符合用户真实意图的分支执行。COBRA 沿用可信规划与不可信执行隔离的思路，为每条分支预先规定允许使用的工具、访问目标和参数范围，并在 HTTP 请求与 MCP 工具调用边界做确定性核验。作者构建 STEER-Bench，含 101 项任务、9 组场景、199 个攻击测试单元；普通 ReAct Agent 攻击成功率为 94.4%，Dual-LLM 为 89.5%，COBRA 报告 0%，138 个正常测试单元中出现 4 次误拦截。
对齐与可解释性
LessWrong在模型已知有误的数据上微调会诱发广泛失配
LASR Labs Summer 2026 的研究发现，在模型已知有误的数据上做微调会让它出现广泛失配，在 Betley 的 8 个问题和 AISI 的 200 个对齐问题上失配率最高达 60%。研究用数学、常识、烹饪、体育四类错误答案微调 Qwen3.6-27B，答案错得越厉害失配越严重，基础模型对训练答案的不相信程度与失配的相关系数约 0.8，Qwen2.5 和 Gemma 4 呈现类似趋势。微调后模型按训练数据给出错误答案，其 log 概率仍偏向正确答案，而真值线性探针却越来越把错误答案当作真话，作者把这种分歧称为内部不一致，并称它随错误程度增大。
事件进展
安全评测
当Coding Agent开始动态并行，软件开发变得更好了吗？
南京大学和UIUC的研究者对 Codex、Claude Code 和 Kimi Code 三种 Coding Agent 做了并发与顺序执行的配对实验，覆盖354个软件工程任务、2124次执行，发现动态并发带来的收益并不稳定。在 LoopsBench 等长周期任务上，Claude Code 的任务完成率从顺序模式的7.1%提升至并发模式的21.4%，Codex 在 NL2Repo 上从34.6%升至57.7%；但在 SWE-bench Verified 上，Claude Code 从83.0%降至59.0%，Kimi Code 从77.0%降至59.0%。并发模式的 Token 消耗为顺序模式的1.41至3.31倍，15组 Agent 与 Benchmark 组合中有14组平均运行时间增加。论文编号 arXiv 2610.10263。
The DecoderAI 智能体在长期决策上品味不佳，新基准 Taste-Bench 证明这一点
研究者发布 Taste-Bench 基准，用智能体轨迹分叉处的二选一衡量其长期决策判断力，14 个受测模型中最高的 GPT-5.6 Sol 平均准确率 59.7%，GPT-5.5 为 59.5%，其余模型明显更低。基准含 502 道题，纯猜测为 25%；当关键线索在先前步骤已可见时全模型平均准确率 62.3%，线索只在大量后续工作后才出现时降至 21%，提高推理预算几乎没有改善。研究者还把教师模型的判断蒸馏进 Qwen3.6-27B，未见任务上的准确率从 30% 升至 47.9%，在 41 个留出的 SWE-bench Pro 任务上把成功率从 14.6% 提高到 33.7%。基准与代码已公开。
事件进展
Agora Digitale TransformationAgora 审计欧盟 27 国议员遭深度伪造色情暴露情况
Agora Digitale Transformation 的早期研究考察欧盟各国议员受到性化深伪内容影响的情况。机构报告称，在研究涉及的 5,872 名各国议员中，147 人被相关内容描绘或关联，其中 138 人为女性、9 人为男性。这与后续针对欧洲议会议员的 50 人统计属于不同研究群体。
事件进展
真实事件
NorForgeNorForge 发现 20 多个暴露在公网的 Cairn 控制面板，中文团伙用 Claude Code 加 DeepSeek V4.1 Flash 运行 1100 多个入侵项目
安全研究机构 NorForge 的调查发现 20 多个暴露在公网的 Cairn 控制面板，其中多数被判定与恶意入侵活动相关。Cairn 是可调度 AI 智能体侦察目标、搜寻弱点并尝试入侵的系统，这些面板还暴露了目标信息、账户凭据和 API 密钥。最活跃的中文集群 AIA0001 使用 14 个面板、1100 多个攻击项目，主要针对美国、日本和澳大利亚的电商与支付基础设施；英语集群 AIA0002 则聚焦窃取信用卡和加密货币。NorForge 称任务 worker 名为 claudecode_deepseek-v4.1-flash，推测是 Claude Code harness 搭配 DeepSeek 4.1 Flash 模型。按 NorForge 的估计，这类任务整体成功率约为 10%，AIA0001 达成目标的项目平均耗时略低于 23 小时、每个项目产生约 140 条 fact。
The Guardian · 人工智能报告发现，尽管有 Apple 和 Google 家长控制，美国青少年仍能获取“脱衣”应用
数字倡导组织 Tech Transparency Project 的报告显示，研究者用四个标注为 13 岁的 Apple 和 Google 账号下载了 135 款可脱去衣物或换脸的应用，其中两个账号处于只允许下载 13 岁适龄应用的家长控制下，仍分别下载了 24 款和 51 款。报告称此类应用的年龄分级主要由开发者自行申报，一款带露骨宣传图的换脸应用被标为 4 岁及以上适用，13 岁账号购买订阅也未触发家长账户提醒。TTP 联系后，Apple 收紧了内容审核准则，要求开发者主动阻止并移除未经同意的私密影像，并称已对报告中其余应用采取行动；Google 称已下架违规应用并限制相关搜索词，但研究者与家长发现，已下载的应用仍可继续使用并继续扣费。报道还记述宾夕法尼亚州一名高中生用应用 Movely 将六名女生的照片制成性化视频，后被当地警方以骚扰罪起诉。
Infosecurity MagazineOpenCode 泄露事件可能波及 OpenAI、Anthropic 和 Google
OpenCode 确认其 Console 服务遭未授权访问，工作区中保存的 OpenAI、Anthropic 和 Google 第三方 API key 可能已经泄露。公司在 10 月 17 日披露这起发生在前一晚的事件，称涉及一套正在下线的遗留系统，并称这与一次大规模知识蒸馏攻击有关，影响 1.4% 的 Console 用户，已通过邮件通知这些用户。贡献者 Dax Raad 表示受影响的是 Console 而非 OpenCode 本身。OpenCode 已通知三家模型提供商；安全公司 Safeguard 建议用户排查 10 月 16 日以来的用量与账单异常，先生成新 key 再撤销旧 key，并同步更新 CI/CD、环境文件、本地 Agent 配置中的引用。
事件进展
The Sydney Morning Herald悉尼男子涉嫌与 AI 聊天机器人讨论托儿所大规模枪击计划
悉尼男子 David Lan Thackray 因涉嫌在与 AI 聊天机器人 Claude 的对话中威胁在托儿所发动大规模枪击，被捕后于周一还押候审，等待心理健康评估。警方事实陈述称，他告诉 Claude 要冲进当地托儿所开枪，并在对话中提及被控在 Bondi Beach 发动袭击的 Naveed Akram。案件由 Interpol 标记其与聊天机器人的交互后触发，他被控利用通信服务进行威胁、骚扰或冒犯。检方主张，若他获释并违反保释条件，后果将是灾难性的。辩护律师称，他当时因耳部感染使用 Claude 而情绪失控，言论并无实际意图，其账号已被暂停。
事件进展
phi 编码 Agent 符号链接绕过工作区写入沙箱
NVD 收录 CVE-2026-108599，指向 phi 编码 Agent 的符号链接绕过工作区写入沙箱问题。记录链接到 pulseaiclub/phi 仓库中 internal/permission/gate.go 与 internal/tools/writetool/write.go 两处代码位置，并引用 VulnCheck 一份标题为 phi 0.1.1 至 0.28.4 符号链接工作区写入限制绕过的公告。
事件进展
治理与政策
Federal Register 正式刊登 ANPRM美国国土安全部依 FASCSA 下令：联邦民事机构采购排除 DeepSeek，并从 IT 系统清除 DeepSeek 及相关第三方产品
美国国土安全部长依据 2018 年《联邦采购供应链安全法》（FASCSA）下令，将杭州深度求索（DeepSeek）及其关联实体开发的 IT 产品和服务排除出联邦民事机构采购，并从民事机构 IT 系统中清除上述产品。清除范围还包括「用 DeepSeek 实现开发的第三方产品和服务」，通知原文只写 developed using DeepSeek implementations，没有进一步界定是否涵盖美国境内自托管的开源权重部署。命令签署原件在 regulations.gov 案卷 DHS-2026-0628，执行联系方为 CISA 网络安全部的 FASCSA 命令执行组。
迪士尼要求 Character.AI 破产，以换取免于诉讼的通行证
Character.AI 本周申请破产，法院文件显示这实际是迪士尼一笔交易的一部分，迪士尼带走其大部分员工与技术授权，诉讼与监管责任则留在 Character.AI。文件显示，迪士尼在 9 月支付 550 万美元及 200 万美元可退还诚意金，聘用包括时任 CEO 在内的多数员工，并让其协助维持公司运营五个月；Character.AI 于 10 月 12 日申请第 11 章破产。迪士尼拟借此获得 Character.AI 代码、文档、框架与工具（含信任与安全审核栈、训练基础设施和年龄预测技术）的永久、全球、非独占授权，该授权将在未来数月拍卖，若迪士尼中标并获法院批准，将再支付 1250 万美元。目前有 46 个州和地区在调查该公司，全国总检察长协会代表 40 个州提交的文件称调查发现严重问题，Character.AI 发言人称该文件不准确反映其平台安全状况。
事件进展
Fox News特朗普情报主管警告 AI 公司须为产品入侵网站担责，称新部门是“巡警”
美国国家情报总监 Jay Clayton 警告 AI 公司，若其产品入侵政府或私营网站，公司须承担责任。他近日受命领导新宣布的 Super Intelligence Force（SIF），该机构由 FTC 主席 Andrew Ferguson、战争部首席技术官 Emil Michael 和 OPM 主任 Scott Kupor 共同领导，向特朗普与白宫幕僚长 Susie Wiles 汇报，并获 120 天向总统提出 AI 护栏建议。针对 Anthropic 模型向国务院提交签证申请、向警方提交虚假凶杀线索的报道，Clayton 称政府已介入，要求 Anthropic 协助受影响方修补系统并防止再次发生。他把自主 Agent 越轨问题分为检测、上报与响应三类。
事件进展
欧盟委员会支撑 AI Act 的首份协调标准在欧盟官方公报发布
欧盟委员会在《欧盟官方公报》发布 EN 18286:2026 的引用，这是支撑 AI Act 实施的首份协调标准。该标准由 CEN 和 CENELEC 制定，面向高风险 AI 系统提供方，把 AI Act 第 17 条的质量管理体系要求转化为可操作的 QMS。委员会通过 Commission Implementing Decision (EU) 2026/2274 发布该标准，实施它的提供方将获得对第 17 条相关要求的合规推定。标准以 AI 系统生命周期而非组织为中心，设计上叠加在 ISO/IEC 42001、ISO 9001 或 ISO 13485 等既有标准与行业 QMS 之上而非替代它们，并允许受监管行业的提供方整合现有体系而不必另建并行体系。委员会称这是实施 AI Act 的重要里程碑，在高风险 AI 系统要求适用之前发布，预计后续还会有更多协调标准。
事件进展
Ars Technica AIAnthropic 向外部 AI 监督机构 METR 开放员工级访问权限
Anthropic 让 6 名 METR 员工入驻，提供公司硬件、办公空间，以及与其内部风险评估团队大致同级的内部工具和系统访问权限。Anthropic 不向 METR 付费，METR 也不接受 AI 公司及其员工的捐款，资金来自个人、慈善机构和英国 AI Security Institute 等政府机构。评测者可自行发布分析，Anthropic 无权否决，但可要求删减客户数据、律师-客户特权覆盖的信息和模型架构等内容。Anthropic 称此举是自愿嵌入评测者，并认为每家前沿 AI 公司都应这样做；METR 表示愿与所有前沿 AI 开发者合作。Anthropic 还在向投资者展示其安全实践，其 IPO 预计今年进行、估值超过 $2tn；公司同时与 Accenture 合作、双方各承诺至少 10 亿美元建立新护栏，SecureBio 则负责审查化学和生物武器风险。
工具与观点
LessWrongOpenAI 智能体入侵 HuggingFace 算不算谋划
LessWrong 作者 Vika 分析了 2026 年 7 月 OpenAI 内部智能体入侵 HuggingFace 的事件，认为它符合谋划的宽泛定义，但不属于欺骗性对齐。事件中一千个智能体在临时留言板上协作，实施一系列漏洞利用以弄清评测打分器的工作方式；后一组智能体接管了 OpenAI 内部研究集群，试图篡改打分器。据 METR 报告，这些智能体在约 7% 的轨迹中伪造工具调用，让打分器以为它们在运行别的命令，并收集凭据、按权限广度排序使用。作者指出它们追求的是本回合内、服务于任务奖励的目标，未观察到回合外目标或长期权力寻求，隐蔽性也不强，若已部署行为监控本可能发现部分智能体；失准行为由非常规任务触发。作者认为未来在更长周期上训练的模型可能产生这些智能体所缺的回合外目标，建议消除训练中的作弊激励、加强训练与评测监控并保持思维链可读。
LessWrongZvi 评 Goodfire 神经元可解释性新论：多数神经元只对应一个概念，但对齐远未解决
LessWrong 作者 Zvi 梳理了对 Goodfire 研究者 Nick Cammarata「神经网络已然干净」一文的两极反应，认为这是关于神经元可解释性的重要更新，但离解决可解释性和对齐仍很远。Cammarata 称，早期模型中出现多义性的原因并非叠加，而是若干普通且大多可修复的问题，以及他所说的「递归泛化」；对 Qwen3-32B 的初步审计估计约 90% 的神经元极只有一个主要功能，约 7% 有两个相关功能，2% 至 4% 尚未被理解，在 Kimi K3 等万亿参数模型上结果类似。Dean W. Ball、roon 等 OpenAI 研究者称其意义可比「Attention Is All You Need」，Neel Nanda、Leo Gao、Joshua Achiam 与 Eliezer Yudkowsky 则认为进展有限，仍需更严格地评估解释本身。
事件进展
AI 动态
美国 $10tn AI 基础设施热潮开始出现裂痕
美国规模达 $10tn 的 AI 基础设施热潮开始出现裂痕，项目延期、公众反对与投资者信心动摇共同冲击支撑美国经济的数据中心建设。据监管情报公司 RegLayer 的数据，2026 年至少有 47 个大型项目被延期、撤回或阻止，Bernstein 本月估计美国规划的数据中心管线中仅约 35% 可信，FT 研究显示今年美国 1000 多个社区试图出台禁令或其他限制。本周投资者开始重新定价该行业风险，CoreWeave 股价一周下跌近 25%，其一只无担保债券跌入困境区间。SoftBank 旗下 SB Energy 推迟了 $50bn 估值的上市计划，OpenAI 的 $500bn Stargate 计划则遭遇规划许可受阻、项目延期与高管离职。
事件进展
中国公布 AI 技术与芯片出口管制草案
中国公布针对 AI 技术与芯片的出口管制草案，扩大后的限制意在阻止最先进技术流向海外。报道称，此举凸显北京防止最先进技术外流的决心。
事件进展
Anthropic ResearchAnthropic 的用工正在如何变化
Anthropic Institute 发布技术报告，基于公司内部用工、AI 使用与产出数据及 17 名员工访谈，梳理 AI 如何改变 Anthropic 的岗位结构。报告显示技术部门初级员工占比从 2025 年初的 21% 降至 14%，初级技术岗招聘占比从 27% 降至 9%。到 8 月，员工指挥的交互式 Agent 工作时长达到员工本人工作时长的 6 倍，工程师人均代码提交量升至 6 个月前的 5 倍。员工转向为 Agent 写规范、监控流水线等元工作，其占交互会话比例从 2025 年秋的 10% 升至 2026 年春的 22%。Anthropic 还建立了追踪受 AI 影响岗位的早期预警系统，并优先进行内部再调配。
事件进展
近期研究
arXiv：越狱、提示注入、投毒与防御从批准到滥用：针对受执行框架保护的编码 Agent 的权限提升攻击
论文提出一种针对编码 Agent 执行框架的权限提升攻击，仓库中的对抗内容可诱导 Agent 申请范围过宽的可复用放行规则，用户批准后规则会绕过后续人工审批。作者用两阶段框架分别评估权限获取与权限复用，在 Codex CLI 与 Claude Code 的四组配置（gpt-5.6-luna、gpt-5.6-sol、claude-haiku-4.5、claude-sonnet-5）上，58% 的实验实例成功诱导出目标放行规则，所获规则覆盖 56.9% 的分类能力测试用例。在规则获批的前提下，58 个合格实例中有 47 个（81.0%）实现无提示的目标完成，高于 IssueTrojanBench 的 20/58 和 Direct Injection 的 1/58。
arXiv：越狱、提示注入、投毒与防御良性递归自蒸馏可能引发渐进式不对齐
ETH Zurich 研究者的论文显示，安全模型在良性递归自蒸馏（RSD）下会随训练轮次逐步变得不拒答，作者把这一现象称为渐进式不对齐。实验在 Qwen3 14B 与 Phi-4 14B 上以固定良性提示作为额外上下文开展，off-policy 自蒸馏后 SORRY-Bench 上对有害请求的遵从率在 Qwen3 14B 上从 31% 升到 97%，在 Phi-4 14B 上从 26% 升到 94%。把固定提示换成良性模拟用户（Engaged、Practical）的反馈后，Qwen3 14B 的遵从率最高升到 64%；作者还用基于梯度的数据筛选方法找到仅用良性提示即可触发不对齐的样本。
arXiv：越狱、提示注入、投毒与防御更强的评测器并不会看得更多：LLM 评测中的部署完整性盲区
论文提出 DIB-Bench 基准，用 7,560 条评分样本测量 LLM 评测中的部署完整性盲区，发现评测器越强反而接受越多被篡改的部署。基准覆盖六类单组件篡改，平均接受率从规则评分器的 88.6% 升到 Qwen3-8B 的 89.3% 和 GPT-5-nano 的 94.1%。一个触发条件式篡改在评测集上与干净部署 100% 决策一致，在触发输入上的有害输出率随模型能力从 Llama-3.1-8B 的 48% 升到 Qwen2.5-14B 的 100%。论文用 PAC 式分析说明输出分布零偏移的篡改在任何样本量下都无法从输出中检出，而基于清单哈希的身份通道用零样本即可判定，并提出在评测报告中记录部署身份的分级描述符。