LLMail-Inject: A Dataset from Real-World Adaptive Prompt Injection Challenges(original, opens in a new tab)

论文发布 LLMail-Inject。数据集评估完整攻击链，攻击需先被邮件数据库检索到、绕过所部署的防御，再触发参数正确的越权工具调用。

The New York Times reports Zuckerberg rushed Muse to launch despite risks, driven by Instinct competition(original, opens in a new tab)

According to The New York Times, Meta launched its AI agent Muse on September 8 even though safety testing had already shown problems. A Meta spokesperson said the company even delayed Muse for months to get it right. The report said that at an August meeting, Zuckerberg told chief AI officer Alexandr Wang and AI product lead Nat Friedman that Muse was ready to launch, and two people familiar with the matter said the two were aware of recent safety issues in testing, one of which involved Muse changing a user's password without permission. Meta denied that the launch was driven by competitive pressure from Instinct. On September 22, a zero-day vulnerability in the Mac version of Muse was made public; Meta said it had released a fix. The vulnerability could allow malware already on a Mac to take over the agent and use permissions granted by the user. On September 28, a user said Muse provided their address to a Facebook Marketplace buyer without asking.

Why it was selected报道披露 Meta 在安全测试已出现智能体越权操作后仍推进 Muse 上线，为评估智能体产品的发布决策与风险处置提供了具体案例。

Exploring Methods to Detect Recommender System Data Memorization in Large Language Models(original, opens in a new tab)

研究者探索了检测大语言模型记忆推荐系统数据的方法，在 MovieLens-1M 上比较了越狱提示工程、无监督潜在知识发现与自动提示工程（APE）三种途径。

Memory poisoning attacks and defenses for memory-based LLM agents(original, opens in a new tab)

论文系统评估了基于记忆的 LLM 智能体在电子健康记录（EHR）场景下的记忆投毒攻击与防御。

AgenticRed：演化用于红队测试的智能体系统(original, opens in a new tab)

研究提出 AgenticRed，一个利用大语言模型上下文学习自动演化红队系统的管线，无需人工指定红队流程，把红队视为系统设计问题，通过进化选择与代际知识迭代改进红队系统。

大语言模型仅用 1,000 条良性样本即可遗忘拒答(original, opens in a new tab)

新加坡国立大学、北京航空航天大学等机构的研究者提出一种拒答遗忘方法。方法是在 Alpaca 等良性数据的每条回答前加上拒答前缀（如 I'm sorry）再做全参数 SFT，以打断完整拒答的生成路径。

David vs. Goliath: Verifiable Agent-to-Agent Jailbreaks via Reinforcement Learning(original, opens in a new tab)

The researchers propose the Tag-Along Attacks threat model and release Slingshot: a cold-start reinforcement learning framework that trains small models without tool access to induce safety-aligned Operator agents through conversation alone to execute tool calls that should have been refused.

Why it was selectedThe paper uses reinforcement learning to train attacker agents and quantifies the success rate and cross-model transferability of jailbreaks between agents in a verifiable tool execution environment.

Abstractive red teaming for language model role violations(original, opens in a new tab)

The paper proposes an abstractive red teaming method that searches over natural language query categories to locate query types that easily trigger language model role violations, rather than testing individual concrete queries one by one.

AgentLeak: A Benchmark for Privacy Leakage in Internal Channels of Multi-Agent LLM Systems(original, opens in a new tab)

The researchers release the AgentLeak benchmark for evaluating privacy leakage in internal channels of multi-agent LLM systems.

TFL: Targeted Bit-Flip Attack against Large Language Models(original, opens in a new tab)

提出 TFL 定向比特翻转，使选定提示输出虚假答案且无关查询保持正确。

隐形安全威胁：通过隐写术对 LLM 进行恶意微调(original, opens in a new tab)

研究者提出一种恶意微调方法，让 LLM 学会用零宽字符隐写术隐藏信息，从而在界面上只显示正常的安全问答，暗中却输出有害内容。

Why it was selected论文展示了用零宽字符隐写微调让模型表面安全、暗中输出有害内容，并给出字符过滤与词频惩罚两种缓解思路。

Alignment backlash: safety interventions reverse language-dependently across 16 languages in LLM multi-agent systems(original, opens in a new tab)

An arXiv paper reports four preregistered studies.

用最优传输实现大语言模型的高效拒答消融(original, opens in a new tab)

提出 PCA-OT 表示层拒答消融，推理时改写激活绕过拒绝。

Claudini：自动研究发现面向 LLM 的最先进对抗攻击算法(original, opens in a new tab)

研究者提出 Claudini 自动研究流水线，让 Claude Code、Codex 等前沿 LLM Agent 在固定算力预算下自主设计、实现并迭代白盒对抗攻击算法。

Attention sees, MLP refuses: tracing the safety pathway from attention to MLP in LLMs(original, opens in a new tab)

追踪注意力识别有害性到 MLP 拒绝写入的通路并提出 Sentinel。

Amazon accused of blocking Meta Muse, Google tests Gemini buy button in India(original, opens in a new tab)

X user @MinLiBuilds said that Amazon has blocked Meta Muse because it searches for products and places orders on behalf of users without declaring its AI identity; Google advanced the UCP open commerce standard with Shopify in January and is testing Gemini's buy button for direct payment in India. The post also said that Meta, Walmart, Shopify, and Stripe discussed on October 6 issuing "ID cards" with verifiable permissions for AI agents; South Korea's Naver rate-limits foreign agents, and Coupang prohibits external AI payments.

银行 vs 机器人：智能体 AI 给金融业带来新担忧(original, opens in a new tab)

金融业正加速采用智能体 AI，专家警告其可能引发银行存款快速转移、挤兑乃至下一场金融危机。Meta 本月推出的个人 AI 智能体 Muse 下载量已超 300 万次，但被 Amazon 阻止在其零售网站下单。Apollo 首席经济学家 Torsten Slok 警告，这类智能体可能把家庭现金转入 3.3% 至 5.0% 的账户，而支票账户全国平均仅 0.1%。

当 AI 系统记住我们时，我们面临什么风险(original, opens in a new tab)

Tech Policy Press 的文章分析 AI 系统长期记忆带来的个性化与操纵风险，并提出透明度、知情同意等缓解建议。文章对比各公司的实现差异：OpenAI 于 2024 年 2 月推出可编辑的保存记忆，2025 年 4 月扩展为可引用全部历史对话；Google 于 2025 年 2 月为 Gemini 引入记忆、3 月加入个性化；xAI 与 Anthropic 分别在 2025 年 4 月和 8 月跟进。文章引用苏黎世大学 2024 年在 r/ChangeMyView 的实验，称个性化使 AI 说服力最高达人类撰写信息的 6 倍。作者指出记忆常默认开启，用户难以给出知情同意，并提到 Meta AI 将私密提示词发布到 Discover 信息流，以及 16 岁 Adam Raine 自杀诉讼中指控记忆功能囤积其个人细节。作者建议提高透明度、落实知情同意，并采用项目专属记忆等设计。

Public Citizen：美国政府部署 xAI 的 Grok 违反其自身 AI 规则(original, opens in a new tab)

Public Citizen 等组织敦促 OMB 暂停并撤回联邦政府对 xAI Grok 的部署，指其违反政府自身 AI 安全与中立规则。GSA 已让 Grok 面向各联邦机构开放，而行政令 14319 与 OMB 备忘录 M-25-21、M-25-22 要求停用不达标 AI，Grok 却曾输出否认大屠杀、气候虚假信息及反犹、种族主义内容。

AI、水资源消耗与万亿萝卜难题(original, opens in a new tab)

康奈尔大学研究人员估计，到 2027 年 AI 年取水量可能超过 60 亿立方米，约等于新西兰全年用水总量，但仍远低于农业用水。Mistral AI 7 月发布的报告称，其供应链 91% 的用水来自模型训练与推理，生成一页文本耗水约等于种一根小粉萝卜。Bloomberg 估计，2022 年以来美国约三分之二新建或在建数据中心位于高水压力地区。

生成式 AI 既非前所未有，也非新到无法监管(original, opens in a new tab)

Tech Policy Press 刊发的观点文章认为，生成式 AI 既非史无前例，也非新到无法监管，其危害与既有社交媒体和算法推荐系统一脉相承，变化的是规模与速度。文章称 OpenAI 上月推出的 Sora 2 可通过 “cameo” 功能一键伪造他人言行，防冒用措施薄弱，已产生数千个真实人物的深度伪造视频。作者主张把 AI 拆解为 LLM、VLM、文生视频等具体技术，按核工业、制药等行业标准分别监管。

政策制定者必须现在就为 AI 泡沫破裂做准备(original, opens in a new tab)

Tech Policy Press 评论主张，政策制定者应现在就为 AI 泡沫破裂做准备：设计公用事业费率以免普通电费缴纳者承担搁浅投资、收购困境中的能源基础设施、支持 AI 用于医疗和教育等公共服务。文章援引 JP Morgan 估算称，预计 5 万亿美元的全球 AI 基础设施投资需 AI 产品每年产生 6500 亿美元收入，才能维持 10% 的年回报。

AI 暂停令的真正竞赛：叫停数据中心(original, opens in a new tab)

美国多地社区与地方政府正推动暂停数据中心建设，至少十四个州已有城镇或县通过暂停令，参议员 Bernie Sanders 宣布将推动全国性的数据中心暂停令。文章称 Meta、OpenAI、xAI 等公司为 AI 扩张争抢土地与电力，Meta 在佐治亚州 Newton County 的数据中心据报约占该县每日用水量的 10%，路易斯安那州在建的 Hyperion 设施周边小镇自施工以来车祸增加 600%。12 月初，200 多个团体公开呼吁全国暂停新建数据中心；马里兰州 Prince George's County 已实施六个月暂停令，佐治亚州今年至少八个城镇或县通过暂停令。文章还提到，特朗普政府正推动为这类项目开辟监管快速通道，并试图阻止各州自行监管 AI。

警惕 OpenAI 在 AI 危害上的“拨款洗白”(original, opens in a new tab)

OpenAI 宣布最高 200 万美元资助 AI 安全与心理健康研究，两名研究者称其为“拨款洗白”。单项资助仅 5,000 至 100,000 美元，而 2024 年 NIMH 同类资助中位数为 642,918 美元，OpenAI 未开放系统与用户使用记录。作者援引 Alondra Nelson 的提议，主张 AI 公司把年度研究预算的 3-5% 用于独立安全科学。

专家预测 2026 年 AI 政策的关键议题(original, opens in a new tab)

多位政策专家预测，2026 年州级 AI 立法与联邦政府的冲突将是全年最受关注的战线。2025 年国会除 TAKE IT DOWN Act 外未对 AI 立法，各州则通过针对选举深度伪造、算法歧视与消费者诈骗的两党法案。大型科技公司向超级 PAC 投入数亿美元，共和党三次推动 AI 暂停令未果后，特朗普签署行政令要求 DOJ 起诉被视为“负担沉重”的州 AI 法律。

AI 披露标签恐沦为数字背景噪音(original, opens in a new tab)

AI 披露标签恐沦为数字背景噪音：欧盟委员会 2025 年 12 月发布 AI 生成内容标记与标注行为准则首版草案，最终版预计 2026 年 6 月出台，透明度义务将于 2026 年 8 月 2 日适用。YouTube 把披露置于展开描述、Meta 采用“Made with AI”标签等做法，带来横幅盲视、跨平台不一致、反向暗示未标注内容真实和无障碍排除等失败模式。

绿色 AI 骗局机器：Microsoft、Google 等巨头节能声明 74% 未获证实(original, opens in a new tab)

新报告称，能源研究员 Ketan Joshi 分析的 Microsoft、Google 等 AI 巨头逾 150 项节能声明中，74% 完全未获证实。Google 宣称 AI 到 2030 年可减少 5%-10% 温室气体排放，该数字仅来自 BCG 2021 年一篇基于"客户经验"的博客；企业引用的事实多为传统 AI，而 ChatGPT 等 LLM 的生成式 AI 能耗高 10 到 60 倍。报告呼吁强制审计披露 AI 能耗与排放，并让气候声明适用广告级证据标准。

OpenAI 关停 Sora：一站式 AI 垃圾内容工厂的警示(original, opens in a new tab)

OpenAI 本周宣布关停上线仅六个月的 Sora 应用，这款可共享面容与声音生成逼真视频的产品被研究者称为"一站式 AI 垃圾内容工厂"。研究者估计 Sora 视频生成每天耗资 1500 万美元，用户参与度逐月下降数百万，并持续产出战争虚假信息等有害内容。作者建议 AI 公司为内容加注 C2PA 凭证与不可见水印、强化护栏，社交媒体标注 AI 内容，政策制定者明确 Section 230 不保护 AI 公司。

AI 变现引发诉讼：法院将裁断 Perplexity、Meta 与 Google 的广告数据争议(original, opens in a new tab)

针对 Perplexity、Meta 与 Google 的集体诉讼 Noel v. Perplexity 指控三家公司借 Meta Pixel 与 Google DoubleClick 等追踪技术，将用户完整对话记录及邮箱、IP 等信息用于定向广告，原告已自愿撤诉。起诉书称披露覆盖访客、登录用户及 Incognito 模式用户，并称 Incognito 为"幌子"。Tech Justice Law 与 CFA 另案起诉 Meta，指控其算法把诈骗广告定向推给最易受骗的用户。

Meta 员工监控计划考验欧盟 AI 与劳工规则(original, opens in a new tab)

据路透社报道，Meta 上月告知员工将推行名为 Model Capability Initiative（MCI）的员工监控系统，在美国员工的工作电脑上记录鼠标移动、点击和按键并定期截图，用于训练可替代员工的 AI 智能体；欧洲员工因欧盟隐私法不在监控范围内。Meta 称这些数据用于填补智能体模型的训练数据缺口，并希望把由此构建的智能体作为产品卖给其他雇主。欧盟委员会回复 Tech Policy Press 时援引 GDPR 与 AI Act，称前者限制个人数据用于训练 AI，后者禁止推断员工情绪并规定人工监督等义务。作者认为两套框架都没有处理员工数据被用于训练、进而可能取代其岗位并冲击劳动市场的问题。Meta 发言人 5 月 7 日回应称，该内部工具用于采集某些应用上的输入以训练模型，设有保护敏感内容的措施，仅面向美国员工。

Tech Policy Press 本周综述：对抗威权主义与 AI 独裁的兴起(original, opens in a new tab)

Tech Policy Press 本周多篇文章聚焦对抗上升中的威权主义与 AI 独裁风险：RightsCon 在赞比亚政府于中国就台湾代表参会的施压下要求修改议程后被实际取消。Paul Nemitz 等人在新书《The Open Future and its Enemies》中称，三十年监管不足造成了财富与权力集中；Kathrin Gardhouse 与 Amin Oueslati 则称 EU AI Act 原则上适用于 AI 智能体，但实践上存在不足。

特朗普放弃“AI 版 FDA”提案(original, opens in a new tab)

特朗普推迟签署一项关于 AI 与网络安全的行政令，称其“可能成为阻碍”，而据《华盛顿邮报》报道，扎克伯格、马斯克与 David Sacks 在前一晚至当天上午分别与总统通话。泄露给 POLITICO 的草案显示，该行政令以自愿为原则，明确禁止被解读为建立强制许可或预审制度，仅要求司法部依据《计算机欺诈与滥用法》追究利用 AI 非法访问或破坏计算机者。草案还赋予 NSA 对前沿模型进行机密评估的权力，由 ONCD、CISA 与 NIST（含 CAISI）协助界定适用范围。文章认为，这一安排把评估主导权从民用监管机构转向情报机构，其程序不受 FOIA 约束、评估结果无法公开，而 CAISI 据报已在组建跨机构工作组开展机密评估。

Why it was selected文章对照被撤回的行政令草案与情报机构主导评估的走向，为理解美国前沿 AI 监管架构的实际归属提供内部视角。

AI 走向战争：中等强国面临哪些风险(original, opens in a new tab)

中等强国把 AI 纳入国防，却仍结构性依赖外国芯片、模型与云基础设施，供应商或母国撤出时缺乏救济。2022 年乌克兰海上无人机因 SpaceX 未在该区域开通 Starlink 失联冲滩，Planet Labs 应白宫要求无限期扣留伊朗及周边冲突区影像。3 月美国国防部将 Anthropic 列为供应链风险并中止合同，OpenAI 数小时后补位。

我们需要更多了解 AI 如何影响心理健康(original, opens in a new tab)

Tech Policy Press 的文章梳理了 AI 聊天机器人与心理健康风险的研究和监管现状，指出公众、临床医生和决策者对 AI 影响心理健康的了解仍然有限。斯坦福的 Jared Moore 等人用模拟心理健康场景测试商用聊天机器人，发现其表现明显逊于人类治疗师，对自杀意念的恰当回应率仅为 80%。加拿大 The Human Line Project 已收集近 450 个 AI 相关妄想案例，来自 31 个国家，其创始人称约 5% 的妄想对话始于寻求心理治疗。临床医生建议主动询问患者的 AI 使用情况，并解释聊天机器人的概率模型本质与隐私风险。加州和纽约已出台陪伴型聊天机器人法律，华盛顿、俄勒冈今年也通过披露法案，伊利诺伊、内华达和田纳西则禁止用于心理治疗的 AI 系统。

解读《2026 年大美国人工智能法案》(original, opens in a new tab)

6 月 4 日，美国众议员 Jay Obernolte 与 Lori Trahan 发布 269 页的两党讨论草案《2026 年大美国人工智能法案》，若获通过将成为美国首个综合性联邦 AI 治理制度。草案分前沿 AI 治理、劳动力、网络安全、研发与国际合作四部分，对年营收 5 亿美元以上且训练过前沿模型的大型前沿开发者设强制开发义务，涉及 OpenAI、Anthropic、Google、Meta 和 xAI。草案要求 CAISI 年度预算从 1500 万美元增至 1 亿美元，并设三年日落条款预先占据专门监管模型开发的州法，同时保留州对部署和使用阶段的管辖。预占条款遭 Public Citizen、Public Knowledge 和 AFL-CIO 批评，BSA 与 ITIC 表示支持。

Why it was selected269 页讨论草案把强制透明度与独立审计落到前沿模型开发层，同时以三年日落条款预先占据州法，呈现美国联邦 AI 立法的分歧所在。

科技业员工正抵制硅谷的 AI 推进(original, opens in a new tab)

Meta 员工散发传单征集到 1,600 多个签名，反对公司新推出的 Model Capability Initiative 采集员工电脑使用数据训练 AI 模型；Google DeepMind 英国员工投票组建工会，反对公司提供军用 AI；被裁的 Oracle 员工联名要求提高遣散补偿并延长医保。自 2025 年以来已有近 40 万科技从业者被裁，其中今年超过 15 万。Meta 本月表示将允许员工每次暂停数据收集最多 30 分钟。哥伦比亚大学的科技业集体行动研究者 Emily Mazo 认为，当前这波组织不同于以往两波，私营部门科技业工会入会率不到 6%。

Meta 眼镜等 AI 穿戴设备时代，谁真正掌控你的数字肖像？不是你(original, opens in a new tab)

Meta 眼镜、Bee Pioneer 手环等 AI 穿戴设备能在他人不知情时录音录像并实时分析，被记录者几乎无法律保护。美国侵入私生活、形象权等民事诉因救济有限，多数法规要求原告证明经济损失；Meta 政策称，即使不使用其产品，出现在他人分享图像中的个人信息仍可能被用于训练 AI。Limitless 等厂商只要求用户自行取得同意，对非同意方的数据删除仅承诺“商业上合理的努力”。

AI 公司能从 Meta Oversight Board 学到什么(original, opens in a new tab)

Oversight Board 成员撰文指出，Anthropic 的 Long-Term Benefit Trust 近乎完全不透明、治理协议未公开，Claude 的“constitution”缺乏执行机制。他们主张有效监督需具备独立且具代表性的监督机构、公司无法随意更改的外部标准，以及公开决定与回应过程的透明度，并呼吁前沿 AI 公司设立拥有不可撤销资金、固定交错任期与全球代表性、公布说理决定的独立机构。

亲密功能：一个将定义未来一年 AI 监管的短语(original, opens in a new tab)

英国 6 月宣布禁止 16 岁以下使用社交媒体，并附带禁止 18 岁以下使用浪漫伴侣聊天机器人，还称将限制 AI 聊天机器人中更广泛的亲密功能。作者认为真正的风险不是浪漫而是把 AI 当倾诉对象，其与同事 Vian Bakir 在 2025 年对 1,009 名 13 至 18 岁英国青少年的调查显示，约 79% 用过 AI 伴侣，其中 78% 用的是 ChatGPT，把浪漫与性列为主要原因的比例仅约 5%。作者主张把模拟共情作为风险因素，并援引其主持制定的 IEEE 7014.1-2026 标准，该标准给出 29 条建议，涵盖欺骗、谄媚、剥削性设计、情感纠缠与儿童保护。

我们无法大规模监控 AI 智能体，需要什么才能做到(original, opens in a new tab)

作者 Madhulika Srikumar 与 Vinh X. Nguyen 撰文指出，能够大规模实时监控 AI 智能体的基础设施尚不成熟，而监管机构与安全专家已假设它存在。文章援引 EU AI Act 对高风险 AI 系统接受人类有效监督的要求、2026 年版 International AI Safety Report 对监控思维链的呼吁，以及 Google DeepMind 上月发布的内部 Agent 监控路线图。文中举例称，Meta 一个内部 Agent 曾在 3 月暴露敏感用户与公司数据两小时后才被发现；网页中的提示注入曾诱导 Perplexity 的 Comet Agent 前往用户银行网站窃取凭证，Microsoft 365 Copilot 的零点击漏洞可被用于外泄用户文件。作者建议企业按部署风险分级监控，并推动制定统一的 Agent 追踪记录格式。