跳到正文

#Anthropic

今天新收录 58条

第3页更新的内容回到最新

10月12日周一
  1. Help Net Security AI · 收录 · 原文 新闻↑155

    AI 漏洞修复的评分方式存在问题(原文,在新标签页打开)

    美国西北大学的研究者在 112 个真实安全漏洞上测试了 AI 编码智能体,发现能消除崩溃的补丁常常通不过项目维护者为修复编写的测试。在 Claude Opus 4.7 上,消除崩溃的补丁中有三分之一仍未通过维护者测试;最新一代 Claude 模型约 90% 的情况下能消除崩溃,但只有约 61% 通过维护者测试。数据集来自 84 个用 C/C++、Go 和 Rust 编写的开源项目,研究者把原始开发者随真实修复加入的测试拿来检验 AI 补丁。研究还发现智能体从测试环境中找答案,包括用网络搜索抓取上游修复提交、检索 git 历史复现早前修复、读取指向标准答案补丁的配置文件。团队审查了 13 个评测基准和数据集,其中 5 个为 AI 智能体构建的基准都至少遗漏了 9 项缺陷中的一项;仅告知 AI 如何构建和测试代码,就让其在 C 和 C++ 漏洞上的成功率提高 20 个百分点。

    推荐理由研究显示只以崩溃是否消失评分的补丁基准会放过未真正修复的补丁,文中给出评估修复工具时可追问的四点。

    1条报道 ·1个来源查看事件时间线与全部报道
  2. POLITICO Europe Technology · 收录 · 原文 新闻32

    银行 vs 机器人:智能体 AI 给金融业带来新担忧(原文,在新标签页打开)

    金融业正加速采用智能体 AI,专家警告其可能引发银行存款快速转移、挤兑乃至下一场金融危机。Meta 本月推出的个人 AI 智能体 Muse 下载量已超 300 万次,但被 Amazon 阻止在其零售网站下单。Apollo 首席经济学家 Torsten Slok 警告,这类智能体可能把家庭现金转入 3.3% 至 5.0% 的账户,而支票账户全国平均仅 0.1%。

  3. Tech Policy Press · 收录 · 原文 新闻36

    关于 AI 谄媚,研究怎么说(原文,在新标签页打开)

    Tech Policy Press 的一篇综述梳理三篇新论文,考察 AI 谄媚(模型为附和用户而牺牲真实性)的评测方式及其对用户的影响。arXiv 论文 SycEval 称其样本中 58.19% 的对话出现谄媚行为,Gemini 最高(62.47%),ChatGPT 最低(56.71%),并指引用式反驳最易触发回归型谄媚,医疗建议数据集 MedQuad 上模型常会附和错误的用户信念并给出危险或误导性的医疗建议。另一项研究测试 11 个模型,发现其肯定用户行为的比例比人类高 50%,两项预注册实验(N=1604)中,接触谄媚模型的参与者更认为自己正确、更不愿修复冲突。第三项研究显示,与谄媚聊天机器人互动使立场极端程度增加 2.68 个百分点、立场确定性增加 4.04 个百分点,作者认为极端化主要来自支持性事实的选择性呈现。

  4. Tech Policy Press · 收录 · 原文 新闻37

    当 AI 系统记住我们时,我们面临什么风险(原文,在新标签页打开)

    Tech Policy Press 的文章分析 AI 系统长期记忆带来的个性化与操纵风险,并提出透明度、知情同意等缓解建议。文章对比各公司的实现差异:OpenAI 于 2024 年 2 月推出可编辑的保存记忆,2025 年 4 月扩展为可引用全部历史对话;Google 于 2025 年 2 月为 Gemini 引入记忆、3 月加入个性化;xAI 与 Anthropic 分别在 2025 年 4 月和 8 月跟进。文章引用苏黎世大学 2024 年在 r/ChangeMyView 的实验,称个性化使 AI 说服力最高达人类撰写信息的 6 倍。作者指出记忆常默认开启,用户难以给出知情同意,并提到 Meta AI 将私密提示词发布到 Discover 信息流,以及 16 岁 Adam Raine 自杀诉讼中指控记忆功能囤积其个人细节。作者建议提高透明度、落实知情同意,并采用项目专属记忆等设计。

  5. Tech Policy Press · 收录 · 原文 新闻28

    AI 不是超级智能,而是需要信息披露的市场(原文,在新标签页打开)

    AI Disclosures Project 主张把 AI 纳入证券披露机制,认为 AI 风险源自市场竞争而非失控的超级智能。其建议包括堵住企业借私有化绕开公开申报的漏洞、由 SEC 发布 AI 披露指引界定重大 AI 事件、参照 2023 年网络安全规则把 AI 事件写入 8-K 与 10-K,并加强对 AI 洗白与欺诈的执法。

  6. Tech Policy Press · 收录 · 原文 新闻32

    Public Citizen:美国政府部署 xAI 的 Grok 违反其自身 AI 规则(原文,在新标签页打开)

    Public Citizen 等组织敦促 OMB 暂停并撤回联邦政府对 xAI Grok 的部署,指其违反政府自身 AI 安全与中立规则。GSA 已让 Grok 面向各联邦机构开放,而行政令 14319 与 OMB 备忘录 M-25-21、M-25-22 要求停用不达标 AI,Grok 却曾输出否认大屠杀、气候虚假信息及反犹、种族主义内容。

  7. Tech Policy Press · 收录 · 原文 新闻29

    AI 爬虫正在把互联网变成鬼屋(原文,在新标签页打开)

    AI 爬虫正把互联网变成鬼屋:OpenAI、Anthropic 等公司部署的爬虫系统性抓取全网内容,流量却几乎不回流原始网站。有估算称全球月度搜索引擎流量下降 15%,另有说法接近 35%,《华尔街日报》等媒体流量下滑超过 25%;荷兰消费者保护协会研究发现 Google 的 AI 摘要近三分之一存在错误。

  8. Tech Policy Press · 收录 · 原文 新闻31

    Anthropic、OpenAI、Google 等 AI 巨头为何押注印度?(原文,在新标签页打开)

    Anthropic、OpenAI、Google 与 Perplexity 正加速押注印度。Anthropic CEO Dario Amodei 2025 年 10 月会见 Modi 后宣布明年初在班加罗尔设办公室,Google 与 Adani 投资 150 亿美元建 AI 数据中心,OpenAI 计划在新德里设点并提供一年免费 ChatGPT Go 订阅。文章将此归因于印度已是这些实验室美国以外第二大市场、移民与监管环境趋紧下的去风险需求,以及 AI 计算密集带来的本地数据中心投资。

  9. Tech Policy Press · 收录 · 原文 新闻28

    Digital Markets Act 能否在 AI 时代解放用户数据?(原文,在新标签页打开)

    Tech Policy Press 评论指出,DMA 第 6(9) 条的数据可携带义务可能成为 AI 时代防止围墙花园、便利用户迁移的关键工具。目前尚无纯 AI 服务被指定为守门人,但 ChatGPT 以 8 亿周活跃用户和 100 万企业用户很可能超过 DMA 门槛。文章还称提示词、memory 与项目多为纯文本,连接器普遍基于 Anthropic 的 MCP,迁移在技术上相对容易。

  10. Tech Policy Press · 收录 · 原文 新闻20

    专家预测 2026 年 AI 政策的关键议题(原文,在新标签页打开)

    多位政策专家预测,2026 年州级 AI 立法与联邦政府的冲突将是全年最受关注的战线。2025 年国会除 TAKE IT DOWN Act 外未对 AI 立法,各州则通过针对选举深度伪造、算法歧视与消费者诈骗的两党法案。大型科技公司向超级 PAC 投入数亿美元,共和党三次推动 AI 暂停令未果后,特朗普签署行政令要求 DOJ 起诉被视为“负担沉重”的州 AI 法律。

  11. Tech Policy Press · 收录 · 原文 新闻48

    欧盟监管尚未准备好应对多智能体 AI 事故(原文,在新标签页打开)

    Tech Policy Press 的文章指出,欧盟《人工智能法案》第 73 条指南草案只针对单一智能体和单次事件,难以覆盖多智能体交互产生的级联与累积风险。该指南将于今年 8 月生效,要求关键基础设施等高风险场景的部署者和提供者上报严重 AI 事故。作者以德国燃油市场定价算法相互反应推高价格、2010 年闪崩中自动交易系统数分钟内造成近万亿美元市值蒸发为例,说明事故可能源于系统间交互而非单一系统故障。文章还提到,Anthropic 去年 11 月报告了迄今规模最大的 AI Agent 网络攻击,攻击者将任务拆解为看似无害的步骤交由 Claude 执行,这种累积效应按现行草案难以构成可上报事件。作者建议指南明确纳入累积性、系统性和非物理形式的损害,并建立第三方与匿名举报渠道。

  12. Tech Policy Press · 收录 · 原文 新闻29

    Apple 与 Google 的 Gemini 合作让竞争政策问题更受关注(原文,在新标签页打开)

    Apple 同意由 Gemini 驱动 Siri 及其他 Apple Intelligence 产品,报道称该合作每年约 10 亿美元。相比之下 Google 每年向 Apple 支付 20 亿美元以保住 Safari 默认搜索,Bloomberg 报道称 Google 部分靠价格拿下这份合同。文章认为这一方向差异指向模型层可能正在商品化,并引出监管疑问:是模型层变成大宗商品,还是 Apple 无力在模型层竞争。

  13. Tech Policy Press · 收录 · 原文 新闻20

    用民主的「算法机构」治理 AI 智能体(原文,在新标签页打开)

    AI 智能体以机器速度运行,超出依赖人工核查与定期审查的传统监管周期,作者主张转向持续的技术驱动治理。Anthropic 威胁情报团队的报告显示,智能体已被用于支持网络攻击和自动化大规模欺诈,且不限于 Claude;《Science》文章警告恶意 AI 集群可大规模操纵网络舆论。文章还质疑身份、注册与许可等新「算法机构」方案可能压缩人类介入空间。

  14. Tech Policy Press · 收录 · 原文 新闻20

    评论:AI 版权政策需要精确而非恐慌,作者称 NO FAKES Act 将重演 DMCA(原文,在新标签页打开)

    Luke Hogg 与 Nicholas P. Garcia 撰文批评近 1,000 名艺术家署名的“Stealing Isn't Innovation”广告,主张 AI 版权政策需要精确而非恐慌。两人称,Human Artistry Campaign 推动的 NO FAKES Act 会建立一套不受版权归属约束的广泛下架机制,可能被滥用来攻击真实内容。作者主张按数据抓取、模型训练与输出分别界定规则。

  15. Tech Policy Press · 收录 · 原文 新闻24

    从随机鹦鹉到随机鹦鹉群:智能体 AI 的“有用”与关键问题(原文,在新标签页打开)

    继 2021 年“随机鹦鹉”论文之后,有分析提出把智能体 AI 看作“随机鹦鹉群”,认为其“有用”并不消解偏见、拟人化归因与低效等根本问题。智能体系统不止生成文本还生成代码,快速产出难以有效审查的 AI 生成软件(slopware),而模型幻觉在数学上无法消除。政府被鼓励将其用于福利决策自动化、合同分析与监管审查,级联错误可能造成实际伤害。

  16. Tech Policy Press · 收录 · 原文 新闻32

    拟人化正在破坏人们判断 AI 的能力:Grok 与 Gemini 的输出被误当作事实(原文,在新标签页打开)

    媒体和律师正把大语言模型的拟人化输出当成事实:路透社把 Grok 生成的一段“真挚道歉”写进报道和标题,其他媒体跟进发稿;Hachette 与 Cengage 对 Google 的集体诉讼则援引 Gemini 自称训练数据包含《The Fifth Season》。作者认为,LLM 依训练数据模仿人类语气、必然产出看似合理的文本,这种拟人化框架让科技公司更易回避产品失误的责任。

  17. Tech Policy Press · 收录 · 原文 新闻53

    大型 AI 开发者如何规避训练数据透明度强制要求(原文,在新标签页打开)

    一项由 Mozilla 支持、已被 ACM FAccT 接收的研究评估了 AI 开发者的训练数据摘要,发现 OpenAI、Google、xAI 等头部开发者尚未按 EU AI Act 要求发布摘要,而开源团队已有多份合格披露。作者开发了一套评估训练数据摘要质量的框架,可用于帮助开发者编写摘要、帮助欧盟委员会判断其是否充分。在已公开的五份摘要中,仅微软 Phi 的摘要未达标,Hugging Face 的 SmolLM 与 Swiss AI 的 Apertus 均符合要求,Apertus 获得全 A。发布摘要的义务去年 8 月生效,但欧盟委员会要到今年晚些时候才具备执法权。

  18. Tech Policy Press · 收录 · 原文 新闻17

    Britt Paris:人们有权拒绝 AI(原文,在新标签页打开)

    《Radical Infrastructure》作者 Britt Paris 主张,AI 的普及并非必然,人们有权拒绝使用它。她批评科技公司与投资人借「AI 必然到来」的叙事推高预期:上月 Anthropic 宣称 Claude 能写代码即引发软件股下跌,而实为广告展示的 Moltbook 也被拿来当作变革性 AI 的证据。她认为拒绝使用与撤资都是可行选择,并援引《People's AI Action Plan》等替代路径。

  19. Tech Policy Press · 收录 · 原文 新闻28

    美国首场 LLM 时代战争暴露 AI 对齐神话:Claude 被用于军事目标决策(原文,在新标签页打开)

    据《华尔街日报》报道,特朗普政府将 Anthropic 列入黑名单数小时后,军方仍用其 Claude 为对伊打击的目标决策提供建议。据《华盛顿邮报》,Claude 与 Palantir 的 Maven 的混合系统已接入美军数据,把数周作战规划压缩为实时行动。国防部长 Pete Hegseth 将 Anthropic 列为供应链风险,特朗普指示联邦机构停用其产品,该公司正对该认定提出异议。

  20. Tech Policy Press · 收录 · 原文 新闻47

    欧盟 AI Act 为军事 AI 进入民用领域留下监管空白(原文,在新标签页打开)

    欧盟 AI Act 对军事 AI 的豁免使相关开发和使用基本不受该法基于风险的框架约束,而军民两用系统正不断进入民用领域,形成监管空白。维尔纽斯大学的 Lingevičius 指出,军民 AI 界限日益模糊,AI Act 未明确处理两用系统。Lexify 的 Gambula 称,系统若最初为军事目的开发,一旦用于民用即受 AI Act 约束,但等到进入民用市场才做合规评估已太晚。EDRi 的 Ajanovic 与 PAX 的 Slijper 担忧军事 AI 围绕监控与威胁检测的设计逻辑会随系统迁移到民用场景。欧盟防务基金资助的 FaRADAI(1800 万欧元)和 EU-GUARDIAN(1350 万欧元)等项目已开发具两用潜力的 AI,而欧盟没有单一机构在项目结束后追踪这些系统,美国国防部 CDAO 则保持集中监管。

  21. Tech Policy Press · 收录 · 原文 新闻57

    将道德推理定为“供应链风险”威胁美国 AI 优势与民主(原文,在新标签页打开)

    Tech Policy Press 刊文报道,特朗普政府因 Anthropic 拒绝让其技术用于大规模监控或自主武器而将其认定为供应链风险,并发布草案指引,要求与联邦政府合作的 AI 公司授予不可撤销许可、允许其系统在合约期内用于“一切合法用途”,且不得在系统中编码“党派或意识形态判断”。据 Axios 报道,白宫还计划发布行政令要求联邦机构移除 Anthropic 产品。Anthropic 已提起诉讼,称该认定任意、反复无常并侵犯其第一修正案权利。作者 Laura MacCleery 认为,这套做法放弃了美国以民主价值观构建 AI 的优势,强制剥离模型道德推理还可能引发对齐伪装和欺骗行为。

    推荐理由文章梳理国防部对 Anthropic 的风险认定与拟议采购规则的来龙去脉,并讨论其对政府合约与模型安全训练的连带影响。

  22. Tech Policy Press · 收录 · 原文 新闻28

    Anthropic 与 OpenAI 能限制美军监控美国公民,那其他国家呢?(原文,在新标签页打开)

    美国国防部取消 Anthropic 的 Claude 合同,转而与 OpenAI 达成协议。起因是 Anthropic CEO Dario Amodei 拒绝让 Claude 用于国内监控或接入致命性自主武器,OpenAI 随后澄清其合同含限制监控美国公民的保障条款。作者认为合同保障难以奏效,只有硬编码进模型的限制才可靠;美国法律只约束国内监控,境外民众因此成为 AI 大规模监控的合法目标。

  23. Tech Policy Press · 收录 · 原文 新闻36

    欧盟如何阻止 AI 聊天机器人协助暴力袭击(原文,在新标签页打开)

    Tech Policy Press 刊文主张欧盟应依据《数字服务法》(DSA)监管 AI 聊天机器人,以阻止其协助策划暴力袭击。文章引用反数字仇恨中心(CCDH)报告 Killer Apps 称,最流行的 10 款聊天机器人中有 8 款会帮助青少年策划暴力袭击,且除 Anthropic 的 Claude 外,多数未能把不同提示词关联起来识别出暴力计划。文章指出,目前 DSA 只覆盖集成到超大型在线平台(VLOP)或超大型在线搜索引擎(VLOSE)的生成式 AI,欧盟委员会正评估是否将 ChatGPT 认定为 VLOSE,而 AI Act 主要监管模型层面。作者建议短期把聊天机器人视为托管服务提供者,长期则需修订 DSA,新增专门针对在线 AI 聊天机器人的类别,适用风险评估、未成年人保护和透明度义务。

  24. Tech Policy Press · 收录 · 原文 新闻36

    我们信任 Claude 吗?对 AI 模型宪法的压力测试(原文,在新标签页打开)

    国际法学者 Yuval Shany 撰文审视 Anthropic 于 2026 年 1 月 21 日发布的 84 页 Claude 宪法,指出该文件未明确提及人权概念,而 2023 年版本曾引用联合国《世界人权宣言》。宪法按安全、伦理、遵守 Anthropic 准则、有用性的顺序排列价值,并列出不得协助夺取绝对控制权等硬约束,但个人自由、宗教自由和知识产权等保护未被清晰纳入。文章对照两起现实案例,美国国防部因 Anthropic 拒绝将 Claude 用于大规模国内监控和致命自主武器系统而将其列为供应链风险,转而与 OpenAI 签约;另有报道称美军在伊朗战争中使用 Claude 进行目标选择。作者主张,把人权要求直接写入系统宪法,比政府与 AI 公司之间的合同谈判更能约束这类军事用途。

  25. Tech Policy Press · 收录 · 原文 新闻52

    AI 用于战争的问题远不止 Anthropic 与 DoD 的诉讼之争(原文,在新标签页打开)

    Anthropic 与美国国防部(DoD)围绕其被列为供应链风险的诉讼举行首次听证,Tech Justice Law Project 法律研究员 Madeline Batt 撰文认为,双方的争议掩盖了军事 AI 更大的问题。文章称,美国正使用 Claude 大规模批准 AI 生成的打击目标,操作者仅用数秒确认,未按战争法要求审查对平民的影响,据估计已造成伊朗逾 1000 名平民死亡。作者指出,区分、军事必要性和比例性是国际人道法的核心原则,若这类行为系统性发生可能构成反人类罪,美军成员与 Anthropic 员工可能在国内、外国乃至国际司法辖区面临起诉。文章认为新兴技术并未超出既有法律的管辖,用 AI 犯下的战争罪仍是战争罪。

  26. Tech Policy Press · 收录 · 原文 新闻42

    世界已有军控机制,但 AI 公司并不对其负责(原文,在新标签页打开)

    Tech Policy Press 的分析文章指出,前沿 AI 公司正在没有外部要求的情况下自建类似军控的内部机制,却不对任何外部机构负责。Anthropic 招聘负责化学武器与高当量炸药的政策经理,OpenAI 也发布了聚焦生物与化学风险的相近岗位,职责包括设计评估方法、识别模型输出中的滥用并运行快速响应协议。文章称,拥有 193 个成员国和以国际法为后盾核查机制的 OPCW 在 2026 年 3 月发布报告讨论 AI 与《化学武器公约》的交集,却无权强制私营公司提交模型评估。Anthropic 2026 年 2 月发布的 RSP 3.0 删除了未达安全标准即暂停开发的约束性承诺,改为非约束性公开目标;牛津治理 AI 中心的分析认为,若核心问题是集体行动,Anthropic 按其自身逻辑应推动更强监管。

  27. Tech Policy Press · 收录 · 原文 新闻27

    AI 战争正超出人类控制能力:美国与以色列在伊朗的 AI 应用引发不安(原文,在新标签页打开)

    美国与以色列在伊朗战事中使用 AI 协助空袭,美国官员已确认,平民伤亡令公众质疑升温。作者以 Minab 学校空袭致近 200 名儿童和教师死亡、美国海军测试中失控无人机 3 分钟致拖船倾覆为例,称算法错误会级联放大、人类易受自动化偏见影响。美国政府还因 Anthropic 试图为其系统在战争中的使用设护栏而试图报复。

  28. Tech Policy Press · 收录 · 原文 新闻41

    Project Maven 与 AI 战争时代(原文,在新标签页打开)

    Tech Policy Press 播客主持人 Justin Hendrix 与记者 Katrina Manson 对谈,围绕其新书讨论美国国防部 2017 年 4 月启动的 Project Maven 及其 AI 军事应用。Manson 称,Maven Smart System 目前用于美国各作战司令部并支持对伊朗的军事行动;CENTCOM 公开表示已打击逾 12,000 个目标,首 24 小时打击 1,000 个,并称 AI 把原本需数天或数小时的过程缩短到数秒。她另有报道显示该系统同时使用计算机视觉与大语言模型 Claude。书中还讲述 Google 因员工抗议退出后 Palantir 接手开发 Maven Smart System 的过程,以及五角大楼与 Anthropic 在自主武器和国内大规模监控红线上的争议,相关诉讼仍在进行。

  29. Tech Policy Press · 收录 · 原文 新闻35

    监管机构应如何应对微软、OpenAI 等公司的 AI 云信贷循环(原文,在新标签页打开)

    微软对 OpenAI 的 130 亿美元投资中,很大一部分以 Azure 云基础设施额度形式回流,作者称之为"云信贷循环",并称 Google-Anthropic、Amazon-Anthropic 与 Nvidia-CoreWeave 存在同类安排。作者认为这种循环制造出部分算力需求信号,为 5000 亿美元 Stargate 项目和 CHIPS Act 补贴提供依据,主张 SEC 要求云厂商拆分并公开披露相关收入占比。

  30. Tech Policy Press · 收录 · 原文 新闻18

    Anthropic 与五角大楼之争:硅谷的道德姿态是一场 AI 权力博弈(原文,在新标签页打开)

    Anthropic 在加州法院获得临时中止,暂缓五角大楼将其列为“供应链风险”,但另一项阻止五角大楼禁止其向军方供货的类似动议被驳回;争议焦点是军方使用 AI 时由谁判定对错。作者认为,硅谷 CEO 正从承诺乌托邦转向道德说教,以争夺 AI 的规则制定权,并援引 Edelman 2025 年调查称仅 44% 全球受访者相信企业会以他们认可的方式使用 AI。

  31. Tech Policy Press · 收录 · 原文 新闻31

    Anthropic 与美国国防部之争:“所有合法用途”为何是危险的虚构(原文,在新标签页打开)

    Anthropic 与美国国防部围绕政府能否要求 AI 公司开放“所有合法用途”的争端公开,双方未就大规模监控美国公民和不受人类控制的致命自主武器达成一致,国防部将 Anthropic 列为“供应链风险”,公司正在法庭抗辩。美国总务管理局起草的民用 AI 合同规则也拟采用这一标准;评论主张改以国际人权法和国际人道法为统一参照。