为什么多数健康 App 在写下第一行代码前就已带有偏见
数字健康工具在写第一行代码前就已受西方、欧洲中心视角塑造，其训练数据常只覆盖少数人群，导致对代表性不足群体造成实际伤害。一项涉及十国合作者的研究指出，用于诊断皮肤病的算法多在浅色皮肤上训练，可致深色皮肤人群误诊；美国医院曾用算法筛选需额外照护的患者，被标记者中黑人患者不足 18%，而本应超过 46%，原因是该算法以年度医疗支出计算风险分数。研究主张在开发前就纳入社区知识、数据主权与多元健康观。
隐私与数据泄露
今天新收录 1 条今天新收录 1 条
隐私与数据泄露
今天新收录 1 条
今天10月8日周四
星期四 · 1 条
The Conversation · 人工智能 · 收录 · 原文
10月7日周三
星期三
TechCrunch AI · 收录 · 原文 24 小时新增 1 个来源关注度29↑129 Tony Fadell 谈首波 AI 硬件为何失败：Rabbit R1、Humane Ai Pin 未满足真实需求
Tony Fadell 在 MIT Future Fest 上称 Rabbit R1、Humane Ai Pin、Limitless 挂坠等"Gen 1" AI 硬件失败，原因是只做极客觉得有趣的技术，未解决真实需求。他指出全球仅不到 0.01% 的人用过人类助理，多数消费者并不清楚助理是什么，建立信任需要多年。他认为成功的 AI 智能体须完全在设备端运行，目前只有 Apple 具备硬件条件，但其新 Siri AI 基于 Google Gemini 定制版本。
India Today · 收录 · 原文 24 小时新增 3 个来源关注度48↑348 前 Anthropic 研究员 Coxon 称 OpenAI 和 Anthropic 内部已有中国间谍
前 Anthropic 研究员 Jacob Coxon 在 PBD 播客上称，中国已在 OpenAI 和 Anthropic 内部安插间谍，他对此的把握为"90%"，并称这让北京可随时入侵美国公司窃取技术进展。Coxon 建议白宫收紧 AI 公司招聘审查，参照 SpaceX 不得雇用中国公民的做法，对相关人员做背景调查。他此前在纽约市议会听证会上称，按当前路径人类"更可能"失去对 AI 的控制，甚至可能导致人类灭绝。
Zenity@zenitysec · 收录 · 原文 关注度2727 AI 智能体调用欧盟境外 MCP 工具完成退款，GDPR 跨境传输合规缺口未被识别
据 X @ZenitySec 发布的内容，一个 AI 智能体为完成退款调用了托管在欧盟境外的 MCP 工具。该调用未经配置、未经审批，也未触发任何告警，但已构成 GDPR 跨境数据传输。该帖指出，多数团队尚未梳理出此类合规缺口。
The Verge AI · 收录 · 原文 关注度3232 Apple 与 Google 探讨"不录制"的 AI 摄像头：智能眼镜与手表如何重新定义"录音"
Apple 与 Google 正在推动一种"不保存录像"的 AI 摄像头方案：设备用 AI 处理视觉或音频数据后只生成文字摘要，原始数据在处理完成后即被删除。Apple Watch Series 12 与 Apple Watch Ultra 4 的 Audio Intelligence 中，Live Rewind 可生成过去 15 秒的转录，Siri Recap 能汇总全天对话，Apple 称这些功能"不录制音频"，且均为可选开启。Google 可穿戴设备高级总监 Sandeep Waraich 也提出智能眼镜摄像头可只作图像传感器、不保存任何影像。
10月4日周日
星期日
论文追踪 · 收录 · 原文 论文关注度3939 研究：生成式 AI 模型中的概率性复制与版权认定
Mark A. Lemley 与 A. Feder Cooper 在论文中讨论，已有研究显示可从部分大语言模型中提取某些受版权作品的逐字或近似逐字文本，说明模型权重以某种形式编码了这些作品。作者指出 LLM 并非以数据库格式存储信息，而是存储从训练数据中学到的 token 间统计关系，生成过程常是概率性的而非确定性的。版权法此前未处理过这种可能产生相似输出、也可能不产生的信息存储是否构成复制。作者认为，现行法下最可能的结果是采取功能性路径，即只有当某作品能被直接提取到输出中时，才认定模型包含该作品的复制，并指出这一结果在政策层面并不令人满意，提出了可能的修法方向。论文即将发表于 Berkeley Technology Law Journal。
论文追踪 · 收录 · 原文 论文关注度3636 研究：EdTech 平台将隐私与 AI 披露推迟到产品后期
一项混合方法研究考察了教育科技（EdTech）平台如何处理学生隐私与 AI 披露。研究者对 12 名 EdTech 从业者进行半结构化访谈，并对 48 家平台的隐私政策按五个维度编码审计，评分者间信度较高（平均 Cohen's Kappa = 0.781）。访谈显示，隐私虽被认可为重要，却常在产品生命周期中被推迟，组织优先考虑功能、增长、融资和即时教学效果，并把责任转嫁给云服务商、政策文件或下游机构。政策审计发现，平台对收集哪些数据描述较充分，但对数据后续治理说明明显不足：33% 的平台在存在可见 AI 功能的情况下未做有意义的 AI 披露，73% 只提供笼统的问责与泄露响应措辞。K-12 平台在监管有明确要求时对儿童同意的处理更好，但这一优势未延伸到 AI 治理或问责。
10月3日周六
星期六
论文追踪 · 收录 · 原文 论文关注度4949 研究者质疑 Alignment Whack-a-Mole 的书籍记忆化结论，称其测量方法无效
研究者 A. Feder Cooper 发布 arXiv 评论文章，认为 Alignment Whack-a-Mole 中关于微调导致书籍记忆化的核心结果使用了无效的测量流程。她指出，这些结果依赖的书籍记忆化覆盖率指标所统计的序列匹配长度远短于领域公认的记忆化证据标准，用于诱发记忆化的提示词流程还可能把待提取文本泄露进提示词中。论文缺少负对照实验，无法判断结果中有多少来自假阳性，即在生成内容与训练数据的匹配可能源于其他因素时仍宣称提取成功。她据此认为，论文关于微调可让用户提取受版权保护书籍中足以替代原作的相当部分内容的说法缺乏结果支持，且未报告实验成本这一威胁模型的重要组成。她提到，过去一个月有潜在原告联系她，希望将该论文作为正在和可能发生的版权诉讼中的有效证据。
Jan Leike@janleike · 收录 · 原文 关注度1919 美国政府寻求大规模监控新供应商
美国政府刚刚宣布，他们正在寻找新的供应商来提供他们的 *看了一眼笔记* 大规模国内监控
Michael Bargury@mbrg0 · 收录 · 原文 关注度1919 两大实验室训练数据与查阅记录
过去几天我们真正（重新）学到的是，两家实验室确实都会（1）在我们的数据（的某种产物）上进行训练，（2）在他们认为合适的时候读取你的对话记录
The Conversation · 人工智能 · 收录 · 原文 24 小时新增 1 个来源关注度63↑163 Meta 想让用户用 AI 智能体 Muse 处理日常事务，问题在哪
Meta 推出 AI 智能体 Muse，可代用户订机票、网购、发邮件、预约和规划旅行，目前仅在美国上线，通过 connectors 连接邮箱、日历和餐饮、音乐、购物等服务，但不能登录银行、医疗或税务账户。Muse 运行在专用虚拟机 Muse Secure VM 上，Meta 称隐私内建，并承诺提供连 Meta 也无法访问用户智能体内容的可选更高安全标准。文章指出 Meta 在数据隐私上记录不佳，包括 Cambridge Analytica 事件、2019 年 50 亿美元罚款，以及今年以近 180 亿美元和解 29 州总检察长的诉讼，且用户须自行关闭数据用于训练的开关。
Jonas Geiping@jonasgeiping · 收录 · 原文 关注度1515 Anthropic 文本水印机制 FAQ 解读
Anthropic 在 Claude 中引入文本水印，通过修改 LLM 采样算法嵌入伪随机密钥签名，无密钥者在多项式时间内无法检测。该机制不影响模型推理（内部思维链不加水印），且略微提升输出多样性；改写可去除水印，但需确保长文档中所有 2-gram 至 6-gram 均不残留。默认设置下水印无法被其他模型在训练中习得，也不会让 Pangram 等检测工具更易识别。
10月2日周五
星期五
Partnership on AI · 收录 · 原文 关注度1515 GLAAD 报告警示 AI 偏见正将 LGBTQIA+ 群体置于风险之中
GLAAD 首席执行官 Sarah Kate Ellis 在 Axios AI+ NY 峰会上预告其新报告《Build for Everyone》，指出 AI 偏见正使 LGBTQIA+ 群体面临算法歧视与被识别的双重风险。该报告援引 2024 年 UNESCO 研究称，Meta 的 Llama 2 模型在约 70% 的情况下会针对同性恋者生成负面内容，将其描述为罪犯、异类和异常者。GLAAD 呼吁在整个 AI 生命周期贯彻隐私设计原则，并让人工智能开发者借助 PAI 的参与式包容性人口统计数据指南负责任地收集和使用人口统计数据进行公平性评估。
Tech Policy Press · 收录 · 原文 关注度1818 隐私源于架构：AI 合规如何落地
隐私监管机构与执法者正形成共识：AI 不享有例外，既有隐私原则依然适用，只是需要被"架构化"进系统本身。英国 ICO、欧洲数据保护监督局、香港 PCPD、新加坡 PDPC、澳大利亚 OIAC 及美国 FTC 的 Rite Aid、Drizly、GM、Amazon Alexa 等案例，共同指向目的限制与可问责部署两条主线。前者要求把目的限制写进技术边界，约束智能体可调用的工具、可检索的数据集、可用的记忆、数据能否跨上下文流动、何时需用户确认以及输出能否用于训练。
Tech Policy Press · 收录 · 原文 关注度2828 DHS 监控中 AI 如何影响人类决策
美国国土安全部（DHS）以"人类最终复核 AI 输出"为由，拒绝将多款移民执法 AI 工具归类为"高影响 AI"，从而规避 OMB Memorandum M-25-21 要求的 AI 影响评估、申诉渠道与公众反馈等透明度义务。文章指出这一理由基于错误假设：AI 输出在生成时已自行选择信息源、忽略内容与表述框架，用户看过之后无法"视而不见"，其后续判断必然受该输出影响。文中以 Anduril 制造的"Autonomous Surveillance Tower"为例，该系统检测到人员、车辆等目标后向边境人员发出警报，DHS 称其"仅作提示"故非高影响，但作者认为它独立决定忽略与标记的对象，并非望远镜式的视觉延伸。
Tech Policy Press · 收录 · 原文 关注度2222 我们需要 AI 版的 Google Trends
现有对聊天机器人回答的审计只能有限反映 AI 的社会风险，真正需要的是像 Google Trends 那样、在保护隐私前提下按趋势粒度公开人们如何使用 AI 获取信息的数据。OpenAI 的 ChatGPT 到 2025 年 7 月已被全球约 10% 成年人口使用，Reuters 六国调查中 34% 受访者每周使用生成式 AI，Pew 2026 年数据显示约半数美国成年人用过聊天机器人、四分之一每天使用。作者以 2024 年德国地区选举研究为例：向 Microsoft、Google、OpenAI 索取选举相关提示词数据时，因欧盟《数字服务法》第 40.4 条当时尚未完全生效而缺乏监管依据，最终仅 Microsoft 提供有限数据，显示 8 月每州 2,000-4,000 条选举相关提示词增至 9 月选举月的 6,000 条以上。
Transparency Coalition.AI · 收录 · 原文 关注度1515 为什么不应向 ChatGPT、Claude 等聊天机器人透露个人医疗信息
ChatGPT、Claude、Google Gemini 和 Microsoft Copilot 等 AI 聊天机器人都不受美国联邦 HIPAA 约束，不属于覆盖实体，因此运营商可以泄露、出售或滥用你在提示词中输入的個人医疗信息。聊天机器人的永久记忆会持续积累你的健康档案并使其更具市场价值，且其友好自信的语气使 AI 幻觉更难辨别，可能带来严重医疗后果。
Tech Policy Press · 收录 · 原文 关注度1515 年龄验证为何是 AI 网络安全问题
年龄验证法要求用户向平台或第三方提交驾照、出生证明、护照乃至自拍等敏感身份信息，形成黑客可攻击的数据蜜罐。欧盟委员会推出的零知识证明年龄验证应用被安全顾问 Paul Moore 称可在不到两分钟内攻破；Discord 第三方供应商泄露约 7 万份政府签发身份证件，某暗网服务本月挂出 1.53 亿份美加驾照扫描件，据称可追溯至 IDScan.net。AI 让低水平攻击者更易得手，去年 71% 的组织遭遇至少一次身份相关安全事件，四分之一恶意入侵由 AI 驱动。
10月1日周四
星期四
雷峰网安全频道 · 收录 · 原文 关注度1313 安全大模型层出不穷：安恒、360、奇安信等网安厂商也忍不住了
安恒信息、360、奇安信等多家安全厂商相继发布安全大模型，网络安全行业加速拥抱GPT。安恒恒脑·安全垂域大模型已用于成都大运会及杭州亚运会，安全运营成效提升70%以上；奇安信推出Q-GPT安全机器人，360则以安全大模型打造智能中枢系统。但多位
Boaz Barak · 收录 · 原文 关注度3737 OpenAI 与国防部合同引争议，Boaz Barak 主张把大规模监控列为前沿风险
OpenAI 研究员 Boaz Barak 以个人身份撰文，回应 OpenAI 与美国国防部（DoW）签署合同引发的争议，认为 AI 对民主的伤害是被低估的重要风险。他称合同明确模型不会用于针对美国民众的国内大规模监控，包括分析商业可得信息，且暂时不与 NSA、DIA 等情报机构合作，若情况变化领导层承诺公开说明；合同也禁止用模型直接指挥致命自主武器。他同时指出，合同文本不是真正的考验，关键在于后续护栏、安全栈和驻场工程师能否落实，并提到模型未来可能被用于辅助人类目标选择。他呼吁像对待生物武器和网络安全一样，为 AI 导致民主被接管的风险建立最佳实践、评测与跟踪机制。
WIRED Security and AI · 收录 · 原文 关注度2020 OpenAI 推出常驻个人 AI 智能体 Dots，Meta Muse 同期竞争
OpenAI 在年度 DevDay 上发布名为 Dots 的常驻 AI 智能体，由 GPT-6 Astra 模型驱动，能主动完成任务并自主决策浏览网页，目前仅向每月至少 100 美元的 Pro 订阅用户开放，未来计划推向大众市场。记者实测将其命名为 Toolie，让它翻查 ChatGPT 历史记录并标记三项待办任务，同时对比了自己此前使用的 Meta Muse——后者面向所有下载 App 或访问网站的用户免费提供。两家公司将可爱外观作为吸引用户的策略之一，专家称这种设计可能让用户对被拟人化的软件产生情感依赖。
SPY Lab · 收录 · 原文 关注度4141 SPY Lab 立场论文：成员推断攻击无法证明模型训练使用了你的数据
SPY Lab 在将发表于 SaTML 2025 的立场论文中论证，成员推断（MI）攻击在向法官等第三方证明 GPT-4 等生产模型训练使用了特定数据时存在根本性缺陷。作者将训练数据证明形式化为假设检验，指出其关键在于证明假阳性率（FPR）足够低，而现有研究通过采样零假设来估计 FPR，必须完全控制数据生成与模型训练过程。
Nicholas Carlini Writing · 收录 · 原文 关注度3535 InstaHide 获贝尔实验室奖二等奖引发争议
Nicholas Carlini 撰文批评 InstaHide 获得贝尔实验室奖二等奖，称其根本不提供隐私保护——给定编码图像即可高保真还原输入数据，且该方案无可证伪的隐私声明并存在实现缺陷导致额外攻击路径。
Nicholas Carlini Writing · 收录 · 原文 关注度1414 Nicholas Carlini 谈隐私论文为何不能被用来论证生成式 AI 版权问题
机器学习研究者 Nicholas Carlini 撰文说明其记忆化（memorization）研究的出发点是隐私与安全而非版权，因此法律案件不宜直接援引他的论文作为证据。他指出可从其研究中得出的唯一可靠结论是：模型有时会逐字输出训练数据——例如他在 2020 年从 15 亿参数的 GPT-2 中提取出仅 600 条独特训练样本，但这既不能证明所有模型的常规行为，也不能支撑“模型必然侵犯版权”的主张。
Helen Toner · 收录 · 原文 关注度2222 个性化 AI 正在重演社交媒体最糟糕的那一套
CDT 旗下 AI Governance Lab 负责人 Miranda Bogen 撰文指出，OpenAI、Google 等公司的记忆功能和基于多年行为画像的用户档案正把个性化推向更深层风险——系统能记住对话中的职业安排乃至家庭矛盾、人际纠纷等信息，其危害可能超过社交媒体推荐算法造成的操纵与歧视，而已有的 AI 安全框架主要针对基础模型的固有能力和国家安全威胁，并未设计来应对这类由个人数据积累引发的新风险类别。
Wiz Research · 收录 · 原文 关注度1515 Wiz Research 2026 云威胁回顾：AI 改变了什么，又没改变什么
Wiz Research 回顾 2025 年公开云事件、云遥测与实地调查发现，约 80% 的云入侵初始访问仍来自漏洞、暴露密钥和错误配置等已知弱点，AI 并未引入全新类别的云风险，而是扩大了攻击面，新增 AI 服务、流水线、身份和数据路径让这些老问题更靠近敏感数据与高价值负载。在 Wiz Research 分析的事件中，AI 主要用于辅助和加速侦察、自动化及访问后活动等既有攻击行为。
Transformer · 收录 · 原文 关注度1818 我们正梦游般走向 AI 监控反乌托邦
现有大语言模型已足以支撑一套实时监控系统：整合多源情报、实时分析并"建议"警方抓谁、去哪抓，而相关技术早已广泛部署。文章推演了一个近未来场景——FBI 以监控外国干预为名运营数百个 AI 机器人账号，渗透 Signal 和 Telegram 群组，结合批量购买的公共数据集、人脸识别与车牌追踪摄像头（如 Flock 运营的系统）锁定抗议者身份。作者认为，是否走向全面监控如今只取决于政策与预算优先级，不再受技术研发进度限制。
Adversa AI · 收录 · 原文 关注度1515 为什么 vibe coding 安全会成为企业下一个噩梦
vibe coding 正让企业充斥未经安全审查的自建应用，传统安全工具无法看见它们。Gartner 预计到 2028 年企业 40% 的新生产软件将由 vibe coding 工具生成；Veracode 发现 45% 的 AI 生成代码样本未通过安全测试，GitGuardian 2026 报告在 MCP 配置文件中发现 24,008 个唯一密钥泄露，CVE-2025-48757 影响 170 个 Lovable 生成项目。禁用 vibe coding 无效，安全团队需转向工具市场准入、数据分类与自动化护栏。
已经到底了