6 年前机器学习攻击系列中提出的 assume bias，如今被称作 Trust No AI
安全研究者 wunderwuzzi23 表示，他 6 年前在机器学习攻击系列中已讨论过这一攻击思路，当时称之为 assume bias，因为那时 LLM 还未受到太多关注。如今他用 Trust No AI 来概括同一问题。
观点与讨论
全部主题研究者与从业者的观点、辩论与研究议程。
在这个话题内搜索或按分类筛选新闻与论文
第 201–220 条 · 共 627 条10月2日周五
星期五
X @wunderwuzzi23 · 收录 · 原文 Cohere（安全与框架） · 收录 · 原文 关注度2222 Cohere CEO Aidan Gomez 质疑：谁有权为 AI 制定规则？
Cohere 联合创始人兼 CEO Aidan Gomez 公开质疑少数硅谷头部 AI 公司借"安全"之名主导全球 AI 规则与安全标准，并批评 Anthropic CEO Dario Amodei 本周发布的路线图寻求反垄断豁免。Gomez 以 1975 年 SEC 指定三家评级机构、1985 年欧洲汽车行业反垄断豁免为例，指出两次以安全为名的安排最终都保护了在位者、限制了竞争。他支持对高能力 AI 系统进行独立审查，但反对由少数实验室商定标准后要求其他开发者盲从。
Partnership on AI · 收录 · 原文 关注度66 当企业就 AI 倾听员工意见时各方受益：IBM 与 EXL 两个雇主案例研究
Partnership on AI 发布两份雇主案例研究，考察 IBM 与 EXL 如何在引入 AI 系统时将员工的专业知识与视角纳入其中。研究发现，领导者释放开放反馈信号并建立清晰可信渠道时，员工会更愿意分享看法并参与负责任的 AI 落地；EXL 面向 5500 名员工的调查则显示，AI 治理框架清晰易用时合规性与员工创新会同步改善。两家公司的做法表明，投入专职人员、结构化倾听流程与易懂框架的企业更能让 AI 惠及员工和组织。
Partnership on AI · 收录 · 原文 关注度1515 GLAAD 报告警示 AI 偏见正将 LGBTQIA+ 群体置于风险之中
GLAAD 首席执行官 Sarah Kate Ellis 在 Axios AI+ NY 峰会上预告其新报告《Build for Everyone》，指出 AI 偏见正使 LGBTQIA+ 群体面临算法歧视与被识别的双重风险。该报告援引 2024 年 UNESCO 研究称，Meta 的 Llama 2 模型在约 70% 的情况下会针对同性恋者生成负面内容，将其描述为罪犯、异类和异常者。GLAAD 呼吁在整个 AI 生命周期贯彻隐私设计原则，并让人工智能开发者借助 PAI 的参与式包容性人口统计数据指南负责任地收集和使用人口统计数据进行公平性评估。
BlueDot Impact · 收录 · 原文 关注度88 Quitting FinTech for AI Safety —— Milos Borenovic
summary_zh:
Partnership on AI · 收录 · 原文 关注度1414 GLAAD 报告《Build for Everyone》：AI 系统如何服务所有人
GLAAD 发布首份全面审视 AI 系统对 LGBTQ 群体影响的报告《Build for Everyone》，覆盖基础模型训练、产品部署到内容审核的完整生命周期，并针对开发者、部署方和政策制定者提出建议。该报告指出，训练数据不完整或有偏见会带来准确性问题——例如医疗 AI 将女性刚性关联特定生理指标可能同时误判跨性别女性和绝经后的顺性别女性。GLAAD 主张企业应在模型开发和产品设计早期就让民间社会参与，并提供第三方审计和数据访问，而非事后补救。
Partnership on AI · 收录 · 原文 关注度1717 Partnership on AI 启动全球 AI 进展枢纽与责任 AI 进度报告计划
Partnership on AI（PAI）在第 79 届联合国大会期间的首届全球 AI 治理论坛上宣布两项全球倡议——全球 AI 进展枢纽（Global AI Progress Hub）与《全球负责任 AI：进展衡量》年度报告，旨在建立首个公开记录来评估 AI 系统是否合乎伦理、安全和可信。该枢纽邀请多方组织提交其行动并追踪成效，围绕人类联结与福祉、就业与经济搭建共同衡量框架；配套报告由多方社区指导方法论进行独立评估，将于 2027 年春季向公众开放访问。
Partnership on AI · 收录 · 原文 关注度88 PAI 日内瓦合作伙伴论坛：负责任 AI 从原则走向实践
Partnership on AI 在日内瓦举办 2026 年合作伙伴论坛，并借首届联合国全球 AI 治理对话之际发布两项新举措——Global AI Progress Hub 公开追踪器与《Global Responsible AI: Measures of Progress》年度独立评估报告。会上讨论聚焦 AI 当前的实际影响、问责归属以及谁有权参与决策三条主线，其中提到呼叫中心生产力因 AI 辅助上升 14%-15%，PwC 一项研究估算助益型 AI 通过育儿、养老与日常事务管理为家庭创造了最高 3300 亿美元的社经价值，同时指出多数企业尚未正式承诺遵守 UNGP，执法也不一致。
Partnership on AI · 收录 · 原文 关注度1515 投资者需要更好的企业 AI 使用信息披露——PAI 发布披露建议草案
Partnership on AI（PAI）于 7 月 28 日发布一份面向投资者的 AI 披露建议草案，帮助公司将 AI 的影响、风险与机遇作为重要信息纳入财务及公开报告。该建议不分行业，覆盖医疗、金融服务、零售、基础设施、能源、社交媒体和公共部门等领域，并设计为补充而非新增现有报告的合规要求，可与 PAI 早前发布的《Corporate AI Risk Assessment Framework》配套使用。 其援引 2026 年斯坦福大学以人为本人工智能指数报告称，全球企业对 AI 的投资在 2025 年翻了一倍以上，生产力增益从客户支持的 15% 到营销产出的 50%；同时相关风险也在扩大，涵盖劳动力冲击与环境足迹以及不断上升的有记录的 AI 事故数。
Partnership on AI · 收录 · 原文 关注度2020 联合国全球人工智能治理论坛第三集群联合牵头人呼吁采取行动，推进安全可信 AI
哥斯达黎加科技部长 Paula Bogantes Zamora 与 PAI 首席执行官 Rebecca Finlay 作为联合国全球对话第三集群（Safe, Secure, and Trustworthy AI）联合牵头人，致函两位共同主席提出五步建议。两人主张将独立国际科学小组工作组与各集群对接、起草融合国际法与欧盟《人工智能法案》等的共同参考基线、设立闭会期间常设工作流跟踪落实、由秘书处专项预算保障全球南方实质性参与，并在 2027 年纽约会议前试点跨境监管沙盒并回报结果。
Partnership on AI · 收录 · 原文 关注度1212 Partnership on AI 华盛顿研讨会：为多种 AI 未来做规划
Partnership on AI 联合 Windfall Trust 于 7 月 29–30 日在华盛顿召集 46 位来自前沿 AI 实验室、工会、民间社会和国际组织的负责人，围绕两种 2030 年 AI 情景推演当下应做的准备。与会者在征税分享 AI 财富、扩大集体谈判覆盖、改革失业保险以及将 AI 纳入公共采购标准等方面形成较多共识，但在融资方式和对各情景发生概率的判断上分歧明显。会议遵循查塔姆研究所规则，观点不作个人归属，完整纪要另行发布。
GovAI · 收录 · 原文 关注度1313 Noah Feldman、Sophie-Charlotte Fischer 与 Gillian Hadfield 谈 Facebook 监督委员会的设计｜GovAI 博客
GovAI 举办了一场活动，邀请哈佛法学院教授 Noah Feldman 讲述他对 Facebook 监督委员会的观察以及一个有意义的 AI 行业评审委员会应当具备何种形态，Gillian Hadfield 与 Sophie-Charlotte Fischer 担任评议人。Hadfield 是多伦多大学 Schwartz Reisman 技术与社会研究所主任并兼任 OpenAI 高级政策顾问，Fischer 是 ETH Zurich 安全研究中心博士候选人及 GovAI 研究员，曾涉足自主武器伦理与法律、美国 AI 技术出口管制等议题。
GovAI · 收录 · 原文 关注度1414 Ben Jones 与 Chad Jones 谈长期经济增长：人工智能爆炸还是空荡星球？
经济学家 Ben Jones 与 Chad Jones 在一场由 Anton Korinek 主持的网络研讨会上讨论长期经济增长的可能路径——人工智能爆炸式的加速增长，抑或是经济增速反向放缓乃至停滞。两人基于发表于 NBER 人工智能经济学卷册的合作论文指出，未来增长率并不必然延续战后的稳态轨迹，可能结果的分布极为宽广，因此无法排除增长朝相反方向发展的可能性。
GovAI · 收录 · 原文 关注度1414 Michael C. Horowitz 谈《当速度致命》：自主武器系统、威慑与稳定性
Michael C. Horowitz 基于安全研究和军事史案例，分析了自主武器系统（AWS）可能带来的两类后果：军备竞赛以及威慑稳定性的削弱，包括战略稳定性下降、危机不稳定风险上升和战时升级。他以作战速度提升和人类对战场的控制减弱这两个特征作为切入点展开讨论。
GovAI · 收录 · 原文 关注度2727 Margaret Roberts 与 Jeffrey Ding 谈审查制度对人工智能的影响｜GovAI Blog
加州大学圣地亚哥分校政治学副教授 Molly Roberts 在一场 GovAI 活动中报告了她与 Eddie Yang 合作的研究，探讨审查与中国人工智能之间的关系，指出驱动 AI 应用的海量数据会被人为偏见污染并编码进训练数据，进而通过算法放大到面向用户的界面中。牛津大学未来人类研究所研究员 Jeffrey Ding 担任评议人。该工作被视为其审查与人工智能关系研究的开端，此前已有大量研究关注种族与性别偏见于训练数据集中的编码问题。
GovAI · 收录 · 原文 关注度88 Paul Scharre 与 Helen Toner 谈 AI 能力与战争性质｜GovAI Blog
GovAI 于 2022 年 4 月 4 日举办了一场线上讨论，由 Robert Trager 主持，嘉宾 Paul Scharre 与 Helen Toner 围绕 AI 能力及其对战争性质的影响展开对话。活动提供录像回放，并附有延伸阅读材料。
GovAI · 收录 · 原文 关注度88 Lauren Kahn 谈人工智能与自主性的负责任军事用途｜GovAI Blog
GovAI 于 2023 年 4 月举办线上讨论，邀请美国外交关系委员会（Council on Foreign Relations）的 Lauren Kahn 主讲人工智能与自主武器的负责任军事使用问题，由 GovAI 国际治理论负责人 Robert Trager 主持。活动录像已在 GovAI 官网公开。
GovAI · 收录 · 原文 关注度1111 Tom Davidson 谈算力中心框架下的起飞速度｜GovAI Blog
Open Philanthropy 的 Tom Davidson 就其草稿论文《What a Compute-Centric Framework Says About Takeoff Speeds》做了一场报告，由 GovAI 代理主任 Ben Garfinkel 主持，活动于 2023 年 3 月举办并留有录像回放。
GovAI · 收录 · 原文 关注度1515 Bruce Schneier 与 Gillian Hadfield 谈如何保障具备物理能力的计算机世界安全
随着计算机安全从保护数据转向保护生命与财产，数据认证与完整性将比保密更重要，基本不受监管的互联网也将终结，未来真正的选择是在明智与愚蠢的政府监管之间。Bruce Schneier 主张回顾以往系统安全的经验教训，并前瞻所需的技术、法律、监管、经济激励与社会规范，同时探讨 AI 如何助力网络安全以及网络安全领域的政府监管可为 AI 监管提供借鉴。Gillian Hadfield 则围绕治理方案发表反思。
GovAI · 收录 · 原文 关注度88 GovAI 开设《经济学 of AI》免费在线课程，Anton Korinek 主讲
GovAI 的经济学与 AI 负责人 Anton Korinek 发布了免费的《Economics of AI》在线公开课，由 Long-Term Future Fund 资助。课程共六个模块，涵盖 AI 对生产方式与技术变革、总体经济增长以及劳动力市场与劳动者的影响，并探讨如何引导 AI 发展造福人类及经济学对人类控制高智能算法的启示。首个模块面向具备社会科学背景的学习者开放，其余模块则针对研究生或高年级本科水平的经济学背景人群。