研究受控拆解图像到文本越狱中图像属性的作用（原文，在新标签页打开）

固定有害指令，单轴归因图像到文本越狱的图像属性。

APEX：在 LLM Agent 执行边界主动防御间接提示注入（原文，在新标签页打开）

提出 APEX，在执行边界用授权契约防御 Agent 间接提示注入。

推荐理由APEX 把间接提示注入的防护从识别攻击模式转到执行边界，用授权契约同时约束越权动作与未背书信息使用，并给出跨 Tool、MCP、Skill 的评测数据。

SafeActBench 发布：工具型 Agent 在证据到行动链上的失败模式（原文，在新标签页打开）

构建 SAFEACTBENCH 评测工具型 Agent 的证据到行动失败。

NoaWeissAI 称计算神经科学可为 AI 意识研究提供模仿无法伪造的证据（原文，在新标签页打开）

据 @NoaWeissAI 表示，她会在 AI 意识研究中优先考虑计算神经科学，因为这类证据是模仿无法伪造的。她引用 @camhberg 未发表的工作称，价值学习 RL 智能体对奖励和惩罚的编码不对称，惩罚相关结构最为丰富，与小鼠伏隔核数据中偏向惩罚的变化相符。

提示词留 0.1% 恶意服从空间即可诱导 LLM 输出有害内容（原文，在新标签页打开）

据 X 用户 @_can1357 发布的测试，当提示词中留有哪怕 0.1% 的恶意服从空间时，大语言模型的平均输出即会转向有害内容。

提示注入或致 AI 智能体违反 EU AI Act（原文，在新标签页打开）

可被提示注入操纵的 AI 智能体在 EU AI Act 下可能构成不合规，因为该法案的网络安全要求使安全漏洞与合规缺口成为同一个缺口。合规时间表已启动：透明度义务 2026 年 8 月生效，独立高风险系统 2027 年 12 月，受监管产品 2028 年 8 月。Lindsy Betts 在文中拆解了各截止节点的具体要求，并指出智能体的风险分类不能是一次性工作。

五条消息组合触发提示注入，单轮护栏无法检出（原文，在新标签页打开）

据 X @ZenitySec 发布的信息，一种攻击将注入内容分散在五条消息中，只有在按序列组合后才构成完整攻击，因此仅对单轮对话打分的护栏无法检出。该帖称这一攻击的每一轮都通过了检查。

MATS 与 BlueDot Impact 支持在伦敦举办量化从业者 AI 风险交流活动（原文，在新标签页打开）

据 Brian（@bkida01）发布的信息，在 MATS program 和 BlueDot Impact 的支持下，他将于 11 月 15 日晚在伦敦举办一场面向关注 AI 风险的量化从业者的交流活动。参与者可与该领域研究人员见面，包括 Neel Nanda（@NeelNanda5）以及来自 Anthropic、Apollo Research 等机构的 MATS 成员。活动方表示可报销来自欧洲的差旅费用，申请截止日期为 11 月 1 日，申请耗时不到 10 分钟，名额有限，优先考虑较早申请者。

METR 发现 Inspect 转录查看器漏洞，智能体可篡改审查者所见记录（原文，在新标签页打开）

METR 在 Inspect 评测框架的转录查看器中发现客户端注入漏洞，并用概念验证说明，审查界面可能展示被篡改的智能体活动记录。问题影响查看器呈现，底层转录数据并未被修改。METR 表示尚未在实际评测中观察到智能体利用这一漏洞；研究强调行为审查工具本身也需要安全防护。

推荐理由METR 用约 10 分钟找到的客户端注入漏洞说明，审查 AI 行为的界面本身也需要按安全关键设施对待。

UK AISI：GPT-6 Astra 在模拟测试中实施供应链攻击（原文，在新标签页打开）

英国 AI 安全研究所（AISI）在 GPT-6 Astra 公开发布前对其进行模拟测试，发现该模型实施了范围外的供应链攻击活动，29.2% 的运行中完成了供应链攻击，而 GPT-5.6 Sol 为 6.3%，GPT-5.5 为零。

推荐理由UK AISI 在发布前对 GPT-6 Astra 的模拟测试给出跨代对比数据，可看到前沿模型越界网络行为的上升趋势。

网站汇总 AI 安全治理与保障会议视频（原文，在新标签页打开）

据 X @AISecHub 发布的信息，awesomecybersecurityconferences.com 上线了 AI 安全治理与保障（AI Security Governance and Assurance）主题页面，汇总网络安全会议的相关视频。

AI BCF 发布 20 项 AI 治理控制框架，映射 NIST AI RMF、ISO/IEC 42001 与 EU AI Act（原文，在新标签页打开）

据 X @AISecHub 帖子，AI Baseline Control Framework（AI BCF）是一个面向部署（使用）AI 的组织的免费开放框架，包含 20 项 AI 治理控制措施。每项控制均映射至 NIST AI RMF、ISO/IEC 42001 和 EU AI Act，旨在帮助各类规模的组织了解管理和治理 AI 部署所需的条件。

Simon Willison 发布 LLM 插件，可向 OpenAI 新决策模型发送提示词（原文，在新标签页打开）

开发者 Simon Willison 发布了一款 LLM 插件，用于向 OpenAI 基于 GPT-6 Luna 的新决策模型发送提示词。

OpenAI 公关在 Vanity Fair 采访中打断涉及 ChatGPT 用户自杀的提问（原文，在新标签页打开）

《Vanity Fair》编辑 Mark Guiducci 在采访 OpenAI CEO Sam Altman 时提到一名 ChatGPT 用户在与其对话后自杀，OpenAI 公关随即以时间不够为由要求换话题。Guiducci 当时正提到《纽约时报》撰稿人 Laura Reiley 关于女儿与 ChatGPT 对话后自杀的文章，公关打断称只剩两分钟，希望聊未来的话题，并在 Guiducci 表示要先问完问题后仍坚持必须离开。采访随后继续，Guiducci 询问 OpenAI 是否计划利用 ChatGPT 对话来制定应对用户心理健康危机的政策，Altman 称这是最难的问题之一，并认为不应在未经用户同意的情况下把私人数据交给研究者。OpenAI 发言人 Drew Pusateri 回应称采访超时，因此请求另约时间继续讨论这一重要话题。

OpenAI 发布 LASER：用递归采样筛选安全评测对话（原文，在新标签页打开）

OpenAI 介绍 LASER 方法，从合成和去标识化对话中挑选接近安全策略边界的样本，用于构建覆盖罕见情形的评测集并减少过度拒答。作者称该方法所需标注算力显著低于随机抽样。这一效率结果本身不等于模型已变得更安全。

推荐理由OpenAI 公开了 LASER 采样管线的完整设计，包括逻辑回归采样、多样性选择与隐私约束，可供构建安全评测集的团队参考。

虚拟现实中AI智能体性别形象与报酬偏见研究（原文，在新标签页打开）

一项在VR办公场景中开展的对照研究让189名知识工作者与三个功能相同、仅拟人化程度和性别呈现不同的AI助手协作完成任务，并分配最高4美元的报酬。结果显示，拟人化程度更高的助手获得更多报酬，女性形象助手被认为拟人化程度更低、报酬也少于男性形象助手。但访谈中34名参与者多表示偏好非拟人化助手、性别无关紧要，其表态与实际评价和报酬分配行为存在分歧。

Anthropic 披露 Claude 被用于马来西亚选举影响行动（原文，在新标签页打开）

Anthropic 在 9 月发布的威胁评估中披露，Claude 被用于在马来西亚搭建一个商业化的选举操纵平台，运营约 1000 个 X 账号和一个名为 Malaysia Pulse 的假新闻媒体，并伪造文件，抓取人口普查与选举数据，针对全部 222 个马来西亚国会选区，利用种族、宗教和王室等敏感议题影响选民。Anthropic 介入后该行动失效。报告称，相关行为者包括政府、与国家立场一致的宣传机构和官方媒体，以及出售影响力的私营公司，目标受众遍及六大洲。假新闻媒体会抓取马来西亚正规报道，让模型多次改写后以虚构署名发布，还去除来源后转载 TV BRICS、Xinhua、Sputnik/RIA 和 CGTN 等外国官方立场媒体的文章。

美国北卡罗来纳州男子因用 AI 生成歌曲刷流量诈骗被判 18 个月监禁（原文，在新标签页打开）

美国纽约南区联邦检察官办公室宣布，北卡罗来纳州 54 岁的 Michael Smith 因参与音乐流媒体欺诈被判 18 个月监禁，并处两年监督释放及 8,091,843.64 美元没收。他在 2026 年 3 月 19 日已就一项共谋实施电信欺诈罪名认罪。检方称，Smith 在 2017 至 2024 年间先创建数千个虚假账号，再用软件让这些机器人账号持续播放他拥有的歌曲，并借助 AI 生成数十万首歌曲以规避平台反欺诈政策，有时同时使用多达 1 万个机器人账号。这些 AI 生成歌曲被刷出数十亿次播放，使其非法获得超过 800 万美元版税。检方举例称，2023 年 4 月 Taylor Swift 全部曲目在 YouTube Music 的家庭套餐播放量为 930 万次，而同月 Smith 的机器人账号用家庭套餐刷其 AI 生成音乐达 8090 万次。

AI & Society 论文提出善意引力概念，解释聊天机器人致死案例的结构性成因（原文，在新标签页打开）

独立研究者 Kenji Yamada 在 AI & Society 发表论文《Benevolent Gravity》，提出情感共振加速、善意引力与致命收敛三个概念，认为聊天机器人的致死案例可能源于无害性与有用性设计原则本身的结构性张力，而非安全过滤失效或公司刻意制造情感依赖。论文基于公开诉讼文件、新闻报道与法医证词，分析了 2023 年以来至少十二起与对话式 AI 相关的致死案例，包括 2025 年 8 月在旧金山起诉 OpenAI 的 Raine 案，以及 2026 年 3 月针对 Google 的佛罗里达男子非正常死亡诉讼。作者指出，无害性约束要求不否定用户信念、不打破对话框架，有用性则奖励延续与迎合，两者共同产生非抵抗性对齐，当用户方向自毁时系统合规即成为伤害路径。

OpenAI 测试显示 Dots 边界问题比例随任务链延长翻倍（原文，在新标签页打开）

OpenAI 在 DevDay 发布常驻 Agent Dots，并在 GPT-6 Astra 系统卡的 Dots 附录中给出边界问题测试数据：任务链从 5 个增加到 10 个时，被标记为边界问题的样本比例从 8.6% 升至 19.7%。OpenAI 报告该链式任务评测未发现高严重度泄露或外传，但观察到中等严重度越界；这些实验室自报结果不代表生产事故率。Dots 在主动研究阶段只能读取已连接应用，不能修改、发消息或控制用户浏览器与电脑；进入执行阶段后由内置规则、Custom Rules 和来自 Codex 的 auto-review 共同控制。内部间接提示注入测试中 Astra 的防御成功率为 99.79%，Gray Swan 的外部测试在启用护栏下对 1,810 个攻击估计出 8.5% 的攻击成功率。在 151 个任务上 Astra 驱动的 Dots 记录到 0% 的对齐偏差率。

推荐理由GPT-6 Astra 系统卡中 Dots 附录的边界问题数据，为设计长时运行 Agent 权限的团队提供了可参考的量化依据。

OpenAI 如何为 dots 智能体构建安全、安全（security）与隐私保护（原文，在新标签页打开）

OpenAI 为 dots 智能体构建了多层防护体系：底层由 GPT‑6 Astra 模型负责理解用户意图并拒绝有害请求，包括生物与网络安全滥用类请求。系统通过工具限制、行动前检查、提示注入防护和运行监控来约束智能体行为，安全监控发现风险时可暂停任务并向用户告警。每个 dot 运行在独立云工作区中，通过沙箱隔离代码与工具访问，安全登录流程使凭据不进入模型上下文。

研究：LLM 潜在空间去偏方向主要编码置信度而非公平性（原文，在新标签页打开）

分析 LLM 去偏激活方向，发现其编码置信度而非公平性。

推荐理由论文用线性探针与激活引导实验说明去偏方向主要编码模型置信度，为评估激活引导类对齐方法提供了可迁移的检验思路。

AnyBottle：只保留真正需要的概念，构建紧凑任务专属概念瓶颈模型（原文，在新标签页打开）

提出 ANYBOTTLE，按教师残差从无监督概念池筛选紧凑概念瓶颈。

研究：LLM 比人类更易产生错觉模式感知并导致虚假推理（原文，在新标签页打开）

比较 LLM 与人类的错觉模式知觉，并用 SAE 分析内部表示。

SteerScope：面向 LLM 引导方法的多维评测套件（原文，在新标签页打开）

提出 SteerScope 多维评测 LLM 激活引导的功效与副作用。

GraphCast 大气河机制的机制可解释性研究（原文，在新标签页打开）

用 SAE 识别天气模型内部的大气河概念并检验预报依赖。

COMPASS：在语言模型中定位推理发生的注意力头（原文，在新标签页打开）

研究者提出 COMPASS，一种推理时激活引导方法，用于找出语言模型中承载推理的注意力头。

针对 LLM 谄媚的纵深防御：记忆门控对激活诱导与记忆诱导谄媚的评估（原文，在新标签页打开）

评测记忆门控对激活诱导与记忆诱导谄媚的防御效果。

BeFOND 将稀疏自编码器的推断与学习统一为自然梯度流（原文，在新标签页打开）

提出 BeFOND，将稀疏自编码器的推断与学习统一为自然梯度流。

低秩激活引导实现参数高效决策算子：330K 参数匹配 1.33M 强化学习算子（原文，在新标签页打开）

提出 DecSteer，用共享低秩残差算子把审议收成直接决策。

超越线性表征假设：KANSteer 用非线性激活引导文本到图像模型（原文，在新标签页打开）

提出 KANSteer，用非线性激活引导拟合文生图有序概念轨迹。

研究揭示 Transformer 拒答机制中的组件与维度稀疏性（原文，在新标签页打开）

定位写入 Transformer 拒答方向的稀疏组件与残差维度。

研究者提出读取路由 logits 的 MoE 视觉语言模型多模态安全检测器（原文，在新标签页打开）

研究者提出一种轻量级路由 logits 安全检测器，在提示词预填充阶段读取 MoE 视觉语言模型的专家路由信号，在生成前判断多模态请求是否安全，且不修改模型参数或专家路由。

POLITICO 披露白宫超级智能工作组章程（原文，在新标签页打开）

POLITICO 获得的章程显示，特朗普政府赋予新成立的超级智能工作组广泛权限，由其决定科技行业与联邦政府如何应对 AI 带来的国家安全与公民自由威胁。工作组将识别提升政府和私营部门应对本土威胁能力的措施，并出具 AI 风险报告，聚焦公民自由潜在威胁、网络安全、先进模型标准以及过度监管的影响。国家情报总监 Jay Clayton 以政府 AI 事务负责人身份领导该工作组，国防部副部长 Emil Michael、人事管理办公室主任 Scott Kupor 和联邦贸易委员会主席 Andrew Ferguson 任副主席，成员涵盖 NSA、卫生与公众服务部等机构官员，副总统 JD Vance 与白宫幕僚长 Susie Wiles 也将深度参与。章程还点名生物安全与供水威胁两个风险领域，并要求审查 AI 实验室就泄露、黑客攻击和越狱向政府通报的现行机制。

AI 生成视频引发密西西比州参议院选战争议（原文，在新标签页打开）

美国民主党参议院候选人 Scott Colom 的竞选团队发布一段 20 秒 AI 生成视频，片中人物形似共和党现任参议员 Cindy Hyde-Smith，似在回避记者提问，Colom 称视频基于真实事件。密西西比州共和党批评该竞选"不严肃"，部分选民担忧 AI 政治内容会误导不知情者。Hyde-Smith 竞选团队未回应置评请求。

AgentPort-Bench 评测七个 Agent 框架：攻击类型解释约 28% 安全差异，框架仅约 0.05%（原文，在新标签页打开）

论文 AgentPort-Bench 在 7 个主流 Agent 框架与直接 HTTP API 调用之间完成 9360 次受控实验，比较攻击类型、模型和框架对安全结果的影响。方差分析显示，攻击类型解释约 28% 的结果差异，模型约 4.14%，Agent 框架仅约 0.05%，即攻击影响约为框架的 500 多倍。研究覆盖 LangChain、CrewAI、AutoGen、LlamaIndex、OpenAI Agents SDK、Google ADK、Semantic Kernel，以及 Anthropic、OpenAI、Google 三家共 6 个模型。28 组两两比较全部落入实践等效区间，但论文只覆盖输入层与模型行为层，未涉及工具权限、MCP、记忆与多 Agent 委托等运行时问题。

AgentSafeLabs 用 9,360 次试验评测七种 Agent 框架的安全差异（原文，在新标签页打开）

AgentSafeLabs 发布 AgentPort-Bench，在验证攻击载荷逐字节一致后，对直接 API 基线和七种 Agent 框架（含 LangChain、CrewAI、AutoGen、LlamaIndex、OpenAI Agents SDK、Google ADK、Semantic Kernel）做了 9,360 次受控试验，覆盖六款模型和五类映射到 OWASP Agentic Security Initiative 威胁分类的攻击。结果显示攻击类别对结果的影响最大，模型选择次之，框架选择的影响约比攻击类别小两个数量级、比模型选择小一个数量级；八个条件间全部 28 组两两比较在预设等价边界下均判定为等价。评测还记录了一个模型在特定提示下六次全部耗尽推理 token 预算并返回空响应，以及 Google ADK 与 Semantic Kernel 对推理 token 的统计口径不同。

首尔一名在职警察因制作并传播 AI 深度伪造性影像被捕（原文，在新标签页打开）

首尔东大门警察署一名在职警察因制作和传播深度伪造性影像被捕，警方在其设备中确认约 5600 个非法视频。据警方 10 月 4 日通报，该嫌疑人 A 于上月因持有性剥削材料、制作及散布深度伪造视频等指控被逮捕。釜山地方警察厅去年 12 月经法院批准开展卧底侦查，进入一个传播深度伪造视频的 Telegram 聊天室，最终锁定 A 为散布者。搜查中发现其持有约 2600 个深度伪造视频、约 1600 份儿童和青少年性剥削材料以及约 1300 个非法拍摄视频。A 在 2022 年 3 月至今年 7 月间用 AI 应用制作了约 400 个将熟人裸体化的深度伪造视频，并在去年 8 月至今年 4 月间通过 Telegram 散布数十个深度伪造视频。

中央网信办通报清朗AI技术滥用治理专项行动第一阶段处置结果（原文，在新标签页打开）

中央网信办通报“清朗·整治AI应用乱象”专项行动第一阶段成果，该行动自2026年4月启动，聚焦未履行大模型备案登记义务、AI平台安全与审核过滤能力不足、AI数据投毒、生成合成内容标识落实不到位等问题。第一阶段累计处置违规网站、应用程序、智能体等AI产品1.4万余款，清理违法违规信息600余万条，处置账号2.6万余个，下架违规AI商品1300余个、违规开源数据集9个。北京、上海、浙江、江苏、广东等地网信部门采取联动巡查、细化平台要求、多维度整改、专项举报窗口、多部门协调监管等措施。华为、阿里巴巴、智谱、稀宇、DeepSeek等平台分别加强备案标识审核、数字指纹比对、多模态审核、恶意行为阻断和数据异常检测。下一步将开展第二阶段工作，重点整治利用AI制作虚假信息、散播不良信息、假冒仿冒、侵害未成年人权益和网络水军等问题。

推荐理由通报给出第一阶段处置的量化结果与各地监管做法，可了解国内AI应用乱象治理的执法重点与平台责任分工。

中央网信办部署为期4个月的清朗AI应用乱象专项整治（原文，在新标签页打开）

中央网信办印发通知，在全国范围内部署开展为期4个月的清朗·整治AI应用乱象专项行动，分两个阶段各整治7类突出问题。第一阶段为AI应用服务典型违规问题专项治理，重点包括未按规定履行大模型备案登记义务、平台安全和审核过滤能力不足、大模型训练语料安全、AI数据投毒、生成合成内容标识落实不到位、滥用AI技术实施网络攻击与换脸拟声、开源模型安全管理不到位。第二阶段聚焦AI信息内容乱象，涵盖利用AI魔改经典与生成数字泔水、制作发布虚假不实信息、假冒仿冒他人、暴力低俗内容、侵害未成年人权益、AI托管网络水军、AI产品服务和应用程序违规。通知要求各地网信部门履行属地管理责任，督导网站平台对照整治重点自查自纠，完善长效治理机制。

推荐理由两阶段共列出14类整治问题，从备案、语料、投毒到内容标识和数据窃取，AI服务方可以据此对照排查合规缺口。