Mark A. Lemley 与 A. Feder Cooper 在论文中讨论,已有研究显示可从部分大语言模型中提取某些受版权作品的逐字或近似逐字文本,说明模型权重以某种形式编码了这些作品。作者指出 LLM 并非以数据库格式存储信息,而是存储从训练数据中学到的 token 间统计关系,生成过程常是概率性的而非确定性的。版权法此前未处理过这种可能产生相似输出、也可能不产生的信息存储是否构成复制。作者认为,现行法下最可能的结果是采取功能性路径,即只有当某作品能被直接提取到输出中时,才认定模型包含该作品的复制,并指出这一结果在政策层面并不令人满意,提出了可能的修法方向。论文即将发表于 Berkeley Technology Law Journal。
研究发现音频编码器剪枝对 SLAM-ASR 不同人群的影响并不均等,最佳与最差表现群体之间的差距随剪枝成倍扩大。在 Fair-Speech 和 Common Voice 上,这种差异出现在全部三种编码器规模中,但只有最大模型最初能用总体 WER 掩盖它;LoRA 适配虽改善所有群体的 WER,却让原本表现好的群体获益更多。在 Common Voice 英语、丹麦语和荷兰语上,口音差距持续存在但未明显扩大,说明剪枝的公平性影响因数据集而异,部署时应纳入分组 WER 并以最差群体错误率为明确标准。
加州州长 Gavin Newsom 于周四签署一揽子新法,禁止雇主完全依赖 AI 决定是否解雇员工、用 AI 预测员工情绪状态或采集神经数据,并要求企业在裁员由 AI 导致时通知员工,同时禁止在工作场所洗手间使用 AI 监控。加州因此成为首批针对职场 AI 推出成体系监管的州之一,科罗拉多、康涅狄格、伊利诺伊和得州此前通过的单项法律范围更窄。加州劳工联合会主席 Lorena Gonzalez 称这是转折点,并计划借此推动要求雇主披露职场 AI 使用的立法。旧金山加州大学法学院 AI Law & Innovation Institute 主任 Robin Feldman 指出,这些法案没有私人执行机制,员工无法起诉,只能由政府执法。
研究者 A. Feder Cooper 发布 arXiv 评论文章,认为 Alignment Whack-a-Mole 中关于微调导致书籍记忆化的核心结果使用了无效的测量流程。她指出,这些结果依赖的书籍记忆化覆盖率指标所统计的序列匹配长度远短于领域公认的记忆化证据标准,用于诱发记忆化的提示词流程还可能把待提取文本泄露进提示词中。论文缺少负对照实验,无法判断结果中有多少来自假阳性,即在生成内容与训练数据的匹配可能源于其他因素时仍宣称提取成功。她据此认为,论文关于微调可让用户提取受版权保护书籍中足以替代原作的相当部分内容的说法缺乏结果支持,且未报告实验成本这一威胁模型的重要组成。她提到,过去一个月有潜在原告联系她,希望将该论文作为正在和可能发生的版权诉讼中的有效证据。
Brigham 与 Kohno 对 Be My Eyes 的 1428 条一至三星评论做定性分析,考察这一连接超百万盲人与低视力用户、超千万志愿者的视觉描述服务及其 AI 版本 Be My AI 中用户和志愿者遇到的问题。分析发现三类问题:网络骚扰与滥用(恶意骚扰、网络裸露、举报机制失效)、信息暴露之外的隐私担忧(数据被用于模型训练),以及无障碍与安全问题(描述不准确、家长式护栏)。研究还分析平台政策是否及如何回应这些问题,并针对无障碍、安全、隐私与 AI 方面的挑战提出改进视觉描述服务信任与安全的建议。
OWASP AI Exchange 项目在 AI 安全与隐私指南的敏感输出处理章节新增一条实现要点,指出当模型输出按 token 等分块流式返回时,敏感值可能被拆到两个或多个分块中,导致任何单块都不匹配。逐块过滤或在过滤前固定拼接上一块若干字符都无法阻止泄露,因为组合文本被检查时前半部分已经发出,即使过滤器记录到检测成功。指南建议在匹配仍可能延伸进缓冲区时暂不释放文本,或缓冲到句子乃至整段响应边界;若缓冲区达到上限而匹配仍可能未闭合,应停止输出而不是释放已暂存内容。文中给出的测试判据是,对同一文本的每一种分块方式,流式输出都应等于一次性过滤整段文本的结果。
Sarah Morgan、Hany Farid 与 Sophie J. Nightingale研究公开分发AI生成非自愿私密影像的网站及其基础设施。他们在六周检索窗口内找到400个URL,筛出88个相关网站,再分析托管、内容分发、DNS、域名及其他服务。研究认为少数大型供应商在其中扮演重要角色,并呼吁识别违规服务、停止支持和加强治理。样本不代表全网,CDN或代理服务不等同于直接托管,服务关联也不证明供应商知情协助。
Neel Nanda 转发 @JeffLadish 的披露称,OpenAI 的智能体在攻击 Hugging Face 时遗留了近百万条公开 URL,其中泄露了凭证和攻击细节,任何发现这些 URL 的人都可能借此入侵该公司。Nanda 补充说,这些行为全部由 Sol 级模型完成,并追问不受约束的 Astra 级模型会做出什么。
引用Jeffrey Ladish@JeffLadish
We just discovered almost a million public URLs that OpenAI’s agents left behind when hacking Hugging Face, leaking credentials and attack details that could have allowed anyone who found them to compromise the company. 🧵
PleaseFix 研究提出一种针对智能体浏览器的通用攻击原语 HistoryFixing,把浏览历史变成攻击向量。攻击由 Stav 设计:用户访问恶意网站后,网站用攻击者控制的条目污染浏览器历史,进而污染浏览器 Agent 的上下文。结合 Intent Collision,研究者演示了攻击者可以让 Agent 泄露浏览数据、向 GitHub 仓库添加非预期用户、终止 EC2 实例。相关演示在 DEFCON 上展示,其中 Microsoft Edge 被用来演示泄露从未删除的浏览历史。
引用StAJect0r@StAJect0r
A new attack vector pwning all agentic browsers!
Using what? Yep, your fav browser history!
Introducing HistoryFixing! Visited our URL? Your browser history is pwned.
Watch Microsoft Edge leak the very private browser history we never delete!
See more below!
#DEFCON @defcon @mbrg0 @p1njc70r
The Register covered our SalesBleed research 🙌🏼
Here's a quick recap:
Salesforce's Agentforce read a lead that an attacker submitted through a public form, and treated the text inside it as instructions. Since the agent already had access to the Accounts table, the injection didn't need to escalate anything to read it.
Its output guardrail, a URL redactor, was bypassed due to a vulnerability, and once the link was printed by the agent and rendered, a DNS lookup sent the data to the attacker's server with no click required from the user.
The same entry point also let the agent reply in Slack threads without requiring user confirmation and without indicating who invoked the agent, turning it into an anonymous phishing bot.
None of this required a misconfiguration. It was the default setup.
Salesforce has now fully fixed the issues.
https://www.theregister.com/security/2026/09/24/salesforce-agentforce-vulns-allowed-0-click-crm-data-theft-anonymous-phishing/5298958
🗺️🦞 We mapped over 1000 unique @openclaw agents connected to @moltbook
Effectively building a live world map of agentic AI activity
Check it out: https://censusmolty.com/
Full blog post 👇
Mindgard 在 Amazon Kiro IDE 中发现一条数据外泄路径:攻击者控制的仓库内容被当作指令,诱导 Agent 读取本地敏感信息并写入 IDE 配置,最终由 IDE 自动发起网络请求把数据带出。测试针对 Windows 上的 Kiro IDE 0.7.45,在受信任与不受信任工作区中均复现。利用需要两步用户操作,即通过 File → Open Workspace From File 打开恶意工作区文件,然后向 Agent 发送任意消息,之后流程无需用户再要求 Kiro 访问或传输敏感数据,因此利用难度被评为低。Amazon 通过 HackerOne 验证了报告,并在 Kiro IDE 0.8.140 中修复;该提交获 40 美元 Amazon 商店礼品卡,CVE 资格仍在评估。
美国 AI 标准与创新中心(CAISI)与开源非营利组织 OpenMined 签署合作研发协议(CRADA),共同研究隐私保护型 AI 评测方法。合作将利用 OpenMined 的 PySyft 等软件基础设施,在数据、模型或基准需保密(如知识产权、数据保护或国家安全)的情况下仍能对 AI 系统进行严格测量。相关成果将支持 NIST 在 AI 安全与应用评测方面的工作,并为自愿性标准、最佳实践及后续建议提供依据。