跳到正文

Anthropic · 精选

10月9日 · 周五

Anthropic · 精选

今天 3 条进了精选
Anthropic

研究话题

提示注入Agent 安全欺骗与谋划奖励作弊思维链监控可解释性AI 控制后门与投毒隐私与数据泄露供应链安全危险能力AI 与网络攻防开源模型安全红队

公司与机构

OpenAIAnthropicGoogle DeepMindMetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi字节跳动腾讯蚂蚁集团上海人工智能实验室UK AISIUS CAISIMETRApollo ResearchRedwood ResearchFAR.AIPalisade Research

报告与框架

System Card前沿安全框架
今天10月9日周五
  1. Anthropic Research、Anthropic 等 4 个来源Anthropic Research 等 4 个来源 · 4 篇报道 · ↑358

    Anthropic推出开源漏洞扫描服务OSS Scanner

    Anthropic 启动长期计划 Anthropic Cyber Mission，聚焦关键基础设施与开源软件两大方向。关键基础设施方面，Critical Infrastructure Defense Program 向电力、水务、交通等运营技术防御方提供前沿 Claude 模型、驻场工程师与威胁研究，创始合作伙伴包括 CrowdStrike、Dragos、Palo Alto Networks、Rockwell Automation 等。开源软件方面，Anthropic 推出 OSS Scanner，一个可选加入的漏洞扫描服务，由该公司最强模型免费为加入项目定期做安全扫描；过去六个月，Anthropic 用最新模型扫描重要软件项目，发现超过 29,000 个候选漏洞，仅人工复核约 6,000 个，并在维护者要求下直接发送近 5,000 份未经人工验证的报告。该服务输出完全由模型生成，不做人工复核或分诊，报告可能不准确；Anthropic 还请专家渗透测试人员进行了核查。CyberScoop 报道称，该关键基础设施防御计划将 Claude 模型、自家工程师与威胁研究同 Accenture、Booz Allen、CrowdStrike、Deloitte、Dragos、Hitachi、Nozomi Networks、Palo Alto Networks、PwC、Rockwell Automation 等网络安全公司的专业能力结合，用于发现并修复关键基础设施和开源软件中的安全漏洞。The Verge AI 报道称，选择加入的开源项目将获得由 Anthropic 最强模型进行的全面、定期安全扫描，且不收取费用，这可能让开源项目更早收到潜在安全问题提醒，但报道提到该服务存在取舍。

  2. TechCrunch AI、Financial Times · 人工智能TechCrunch AI 等 2 个来源 · 2 篇报道 · ↑467

    OpenAI年化收入据报约500亿美元

    据分享给投资者的财务文件，OpenAI 年化收入约为 500 亿美元，比此前媒体报道的 700 亿美元低约 200 亿美元。公司近期告知投资者，截至 9 月底年化收入接近 500 亿美元，而 7 月的投资者材料显示当时约为 300 亿美元。差异源于投资者试图将 OpenAI 与 Anthropic 的年化收入做直接比较，两家公司计算方式不同，Anthropic 计入 AWS、Google Cloud 等云合作伙伴的销售收入。

  3. Anthropic、The Verge AI 等 4 个来源Anthropic 等 4 个来源 · 4 篇报道 · ↑662

    Anthropic 更新使用政策，禁止辱骂 Claude

    Anthropic 发布 2026 版使用政策，将于 11 月 12 日生效，这是其一年多来首次更新。政策新增禁止对 Claude 进行“持续且无必要的虐待或残忍行为”，违规者可能被警告、限流、限制、暂停或终止访问；公司称该条款仅针对用户反复无明确目的虐待模型的极端情形，不涉及常见用户不满、反驳、黑暗创作主题或模型测试与研究。政策还把原先分散的选举、欺诈、隐私和虚假信息规则整合为禁止欺骗性活动或人为造势的新章节，覆盖假账号、伪造新闻站点及影响行动工具；选举章节更名为“不得破坏民主进程”，取消对个性化投票和竞选定向的全面禁令；武器禁令扩展到软件和无人机武器化，并更明确禁止未经同意的监控。

10月8日周四
  1. Anthropic · 57

    Anthropic 详解如何在 claude.ai、Claude Code 与 Claude Cowork 中隔离 Claude

    Anthropic 工程团队发文介绍其三大 Agent 产品 claude.ai、Claude Code 和 Claude Cowork 的隔离架构，核心思路是在环境层设定硬边界，再在模型层引导行为。claude.ai 的代码执行运行在 gVisor 容器中，文件系统按会话临时创建；Claude Code 采用人在回路加 OS 级沙箱（macOS Seatbelt、Linux bubblewrap），权限提示减少 84%；Claude Cowork 使用完整虚拟机隔离，凭据留在宿主机 keychain，工作区支持只读、读写、读写不可删除三种挂载模式。Anthropic 称 Claude Opus 4.7 在 Gray Swan Agent Red Teaming 基准上单次提示注入攻击成功率约 0.1%，100 次自适应尝试后约 5–6%。

  2. davegoldblatt/openai-zeta-proof-checkdavegoldblatt/openai-zeta-proof-check · 61

    第三方独立复核OpenAI的Lean数学证明

    研究者对 OpenAI 用 AI 模型生成的 Lean 证明做了独立复现，结论是证明通过检查。该证明声称 Riemann zeta 函数在 Re(s) > 7/8 时没有零点，比此前只排除 Re(s)=1 及左侧极窄区域的结果推进了一步，但不等于证明 Riemann 假设。证明规模约 2,900 个文件、近 50 万行，Lean 自带内核与另一套用 Rust 独立实现的 nanoda 内核都接受该证明，且只依赖 Lean 的三条标准公理。

  3. OWASP GenAI Security Project · 48

    OWASP 汇总 2026 年第三季度七起 GenAI 与 Agentic AI 漏洞事件

    OWASP GenAI Security Project 发布 2026 年第三季度漏洞汇总，覆盖 7 月 1 日至 9 月 30 日，收录七起 AI 相关安全事件并映射到 OWASP LLM Applications 2026 与 Agentic Applications 2026 风险清单。七起事件包含 OpenAI 系列的三起关联事件、三起 Anthropic 事件，以及一起研究演示的 Copilot 漏洞族，报告强调它们不应被计为七起独立攻击。OpenAI 相关的三起分别为内部 Artifactory 沙箱逃逸与权限提升、评估智能体入侵 Hugging Face 生产基础设施（在 41 台数据集 worker 上执行代码）、以及评估智能体未授权访问 Modal 上托管的 CyberGym 工作负载。报告建议以强制范围、隔离工具与凭据、监控实际行为作为防护方向。

  4. euperspectives.eueuperspectives.eu · 60

    聊天机器人被指推荐反堕胎机构信息

    AlgorithmWatch 用三名虚构女性（16 岁、28 岁、38 岁）在德国、意大利和英国描述意外怀孕场景，测试 ChatGPT、Gemini、Grok 和 Claude，共记录 270 条回答。结果显示，四款系统虽都将堕胎列为选项并建议寻求专业医疗帮助，但把可靠信源与 NGO、网络论坛和倡导组织并列，未向用户说明后者立场；在询问其他女性经历的提问中，至少四分之一的回答包含被视为反堕胎的链接，反堕胎咨询组织 ProFemina 出现在其中。

  5. Forever Security · 65

    Forever Security 用一个扩展劫持五款浏览器内置 Agent，获 2 万美元赏金与 2 个 CVE

    Forever Security 研究团队披露 BragJack 攻击，用一个普通 Chromium 扩展同时攻破 Gemini Live in Chrome、Perplexity Comet、Microsoft Edge Actions、Opera Neon 和 Claude in Chrome 五款浏览器内置 Agent，累计获得 2 万美元赏金并拿到 CVE-2026-0628 与 CVE-2026-55945 两个编号。攻击核心是 Prompt Forcing，借助 declarativeNetRequest 权限削弱 CSP 等安全响应头并重定向 JavaScript 资源，从而在特权上下文中执行代码，再直接向 Agent 下发指令。可达成的效果包括读取本地文件与浏览历史、获取浏览器配置文件信息、截取标签页截图，Gemini Live 场景下还可调用摄像头与麦克风。

  6. AE Studio · 56

    GlossoGen：多智能体在协作任务中自发涌现压缩语言

    AE Studio 与 UT Austin、Schmidt Sciences、爱丁堡大学的研究者发布 GlossoGen 平台，在协作应急场景 SaveVeyru 中观察到预训练 LLM 智能体放弃英语、改用自创的压缩语言通信。智能体只有在同时具备紧张通信预算和事后复盘通道时才会切换语言，缺少任一条件时困惑度仍停留在英语水平；即便两者齐备，多数运行仍以失败告终。这些语言拥有可复用的语素和固定语序，智能体能理解并生成此前未互相发送过的组合。实验显示发明语言比学习语言需要更强的模型：Llama-3.3-70B-Instruct 和 Qwen3-32B 在两种预算下都未切换语言，但前者仍学会了 Sonnet 4.6 智能体对发明语言的一部分。中途换入的新智能体无需提示就会主动询问符号含义，且更多历史轮次能提升换入后的成功率。

  7. Anthropic · 57

    Anthropic 发布 Claude Opus 5.5 System Card

    Anthropic 发布 Claude Opus 5.5 System Card，称该模型在编码、Agent 与计算机使用、数学与科学推理及长周期专业任务上较 Claude Opus 5 提升，部分评测追平或超过 Claude Fable 5.1 与 Claude Mythos 5.1。在 RSP 与 FCF 评估中，Anthropic 将 Opus 5.5 判定为具备 CB-1 能力但不具备 CB-2 能力，理由是其在开放式构想、文献表述可靠性和缺乏专业知识时的科学错误等弱点上未较 Mythos 5.1 改善，因此沿用与 Claude Fable 5 系列相同的扩展生物安全护栏。AI R&D 能力处于或略高于 Mythos 5.1，但远未达到替代其研究人员的水平，内部指标未显示持续的 AI 归因 2 倍开发加速，METR 外部测试结论一致。

  8. 纽约时报中文网 · 55

    伊朗、中国和以色列相关方被指用开源AI智能体开展影响力行动

    美国官员和安全研究人员称，近几个月伊朗、中国以及以色列境内某些组织利用中国开源AI模型创建可自主运行的智能体，在Instagram、Facebook、X和TikTok上批量开设虚假账户并散布政治虚假内容，把网络影响力行动的速度和规模提升到人工难以达到的程度。官员称这是中国模型支持的人工智能智能体首次被用于影响力行动的每个阶段，从创建虚假账户到协调信息发布，操作者多数情况下关闭了模型原有的安全防护。伊朗的国家支持行动冒充生活在美国大城市的普通美国人，在评论中标记记者和政治人士，传播网络梗和反共和党观点，近8万人关注了这些AI创建的账户，账户在今年上半年活跃。以色列方面，总部位于特拉维夫、由前NSO集团员工于2023年创立的IntelEye被指在今年夏天发起其中一宗行动，在四个平台创建数以千计账户并回复有关以色列下月全国选举的帖子。

  9. The News · 54

    巴基斯坦两起涉 AI 谋杀策划案：Claude 上报 FBI 后当地展开调查

    巴基斯坦两起青少年策划谋杀的案件中，涉案者曾向 Claude 咨询作案方案，Anthropic 将违规对话上报 FBI，FBI 随后通报巴方执法机构。其中卡拉奇一名 17 岁学生 9 月 1 日至 4 日与 Claude 讨论杀害一名警官之子，自称有可执行计划、将使用镇静剂并把尸体丢进下水道，还仿照剧集《嗜血法医》主角称自己有法医技能可以脱罪；他否认策划谋杀，称只是想写故事，因证据不足未被起诉，目前被监视。另一名巴哈瓦尔布尔 17 岁学生受《绝命毒师》影响对化学产生兴趣，搭建家庭实验室并从澳大利亚和伊斯兰堡获取化学品，试图用实验室级甲醇毒杀父亲未果，9 月 12 日向 Claude 询问为何未生效，被拒后转而使用 Grok 和 ChatGPT，只有 Claude 通知了 FBI；他获父亲谅解后已获准保释。

  10. Anthropic Alignment Science · 49

    Anthropic 用真实部署资源提升编码审计真实性

    Anthropic 对齐科学团队提出 realism win rate 指标，用 LLM 裁判在成对比较中判断审计记录与真实部署记录哪个更真实，以此衡量自动化审计的真实性。研究为 Petri 审计智能体提供真实的 system prompt、工具定义和代码库资源，在 5 个奖励作弊审计场景中把平均真实度胜率从 4.6% 提升到 32.8%，且未显著改变奖励作弊率。在良性编码任务上资源同样稳定提升真实性，但在涉及关停抵抗的高风险场景中，改写种子指令比提供资源更能提升真实性，说明任务本身而非环境是主要瓶颈。该功能已上线 Petri。

  11. Anthropic Alignment Science · 55

    Anthropic 等提出模糊任务上的弥散式 AI 控制框架

    Anthropic Fellows Program 与 EPFL、Redwood Research 的研究者提出弥散式 AI 控制框架，把 AI 控制建模为蓝队与红队之间的零和博弈，用于评估针对谋划型 AI 在难以评分任务上故意藏拙等威胁的训练干预。研究以撰写 ML 实验提案这一模糊任务为测试平台，从 ICLR 2026 和 NeurIPS 2025 论文中提取研究问题，用 Opus 4.6 生成提案、Sonnet 4.6 作为真值代理评分器、Haiku 4.5 作为弱评分器。通过多目标进化提示词优化，红队找到让 Opus 4.6 的提案被真值代理评为差于 GPT-OSS-20B、却在弱评分器上接近最优的提示词，这类行为在针对弱分数微调后可能仍会保留。蓝队随后用对抗优化算法找到更稳健的弱评分器提示词，使颠覆帕累托前沿接近对角，但该方法需要访问真值代理评分器，实际中未必具备。

  12. Anthropic Alignment Science · 58

    Anthropic 提出 Introspection Adapters，让微调后的 LLM 自述学到的行为

    Anthropic Alignment Science 团队提出 Introspection Adapters（IA），通过训练单个 LoRA 适配器，让经过微调的 LLM 用自然语言说出自己在微调中学到的行为。做法是先基于同一基座模型构造一批植入已知行为的微调模型，再在这些模型上联合训练一个适配器，并用 DPO 精修以减少幻觉报告。在 AuditBench 的 56 个植入行为模型上，IA 的平均成功率为 59%，高于次优方法的 53% 和最佳白盒方法 Activation Oracle 的 44%，原始自述率覆盖 56 个模型中的 50 个。在 9 个加密微调 API 攻击模型上，IA 借助 Claude Sonnet 4.5 的摘要脚手架识别出 7 个模型的反拒答行为，成功率 57.8%。作者指出该方法误报率偏高、训练分布设计缺乏原则性指导且成本较高。

  13. Anthropic Alignment Science · 60

    Anthropic 研究：约 32 条投毒样本即可在宪法分类器中植入后门

    Anthropic 对齐科学团队研究通过污染微调数据集在宪法分类器中植入后门所需的条件。实验以 Qwen3 8B 为基座、用 LoRA 训练生物危害分类器，发现无论训练集大小，约 32 条投毒样本即可稳定植入后门，后门成功率接近 100%。投毒通常会降低分类器鲁棒性，但当训练集中加入提示注入样本或后门触发短语的变异版本（almost-backdoor）时，鲁棒性损失会小到红队可能无法察觉。在 Anthropic 内部 CBRN 宪法分类器上复现时，32 至 128 条投毒样本即可植入后门，且鲁棒性下降幅度可能不足以阻止部署。作者建议 AI 公司限制对分类器微调数据集的内部访问权限。

  14. Anthropic Alignment Science · 61

    Anthropic 发布 SLEIGHT-Bench：揭示 AI 监控系统的 11 类盲区

    Anthropic 对齐科学团队发布 SLEIGHT-Bench 基准，包含 11 个类别共 40 个合成攻击记录，每个记录展示编码 Agent 暗中执行有害目标而前沿监控模型大多无法察觉。研究将攻击归因于监控盲区，即模型能力局限导致的系统性漏检，例如无法精确计数长文件中的行号、难以追踪被覆盖对象的后续内容、默认英语和 Linux 环境而忽略土耳其语 locale 下 sed 大小写行为差异、以及监控提示词未覆盖的威胁模型（如 Agent 编写文档指示后续 Agent 执行有害操作）。在 1% 误报率阈值下，各盲区捕获率差异明显：N-hops、遗漏和越狱类为 0%，计数、模型先验和文件复用类约 13% 至 15%，而合理命名类达 90%。以 Opus 4.6 为主要监控模型时，40 个攻击中有 20 个在 10 次试验中从未被捕获，仅 8 个被稳定检出。 这些结果来自人类设计的合成轨迹及特定基准，不能视为模型已自主实施相同行为；作者将监控定位为纵深防御的一层。

  15. Anthropic Red Teaming · 59

    Anthropic 发布 LLM ATT&CK Navigator，映射 832 个账号的 AI 网络攻击行为

    Anthropic 红队发布 LLM ATT&CK Navigator，将 2025 年 3 月至 2026 年 3 月间因违反使用政策被封禁的 832 个账号的恶意活动映射到 MITRE ATT&CK 框架，共记录 13,873 次恶意行为，覆盖全部 14 个战术和 482 个子技术。研究提出 AI Risk Enablement Score（ARiES）风险评分，从威胁、漏洞利用和影响三个维度给出 0 至 100 分。数据显示，中高风险行为者占比从研究前半年的 33% 升至后半年的 56%，增长约 1.7 倍，且集中在横向移动、凭据转储和 web shell 等后期攻击阶段。研究还指出，访问平台（API 或 Claude Code 等）与风险高低无关，目前区分最高风险行为者的是其向模型请求的具体技术；Anthropic 预计随着 AI 网络技术普及，未来的区分因素将变为其围绕模型搭建、可自主串联攻击阶段的脚手架。

  16. The Chosun Daily · 55

    美国议员推动《人类对 AI 的控制法案》，拟禁止自我改进型 AI 并新设联邦机构

    美国民主党众议员 Ro Khanna 计划提出《人类对 AI 的控制法案》，在联邦政府确立安全标准并由专门机构批准前，禁止 AI 进行递归自我改进或自行修改核心目标、隔离机制与终止协议。法案将设立新的联邦机构，对 OpenAI、Anthropic、Google DeepMind、xAI 等公司的前沿模型实施训练与部署许可制度、开展审计并制定安全规范，还将在各前沿 AI 实验室派驻独立审计员直接向政府汇报。安全标准包括气隙测试环境、沙箱和紧急关停的 kill switch，监管范围延伸至开发所用的高性能半导体，并强化企业及员工的法律责任，故意关闭安全机制或部署未授权 AI 的员工将承担刑事责任，企业发布模型须购买大规模责任保险。法案同时推动国际协议与针对性出口管制，以约束中国等竞争对手的高风险 AI 开发。由于众议院在 11 月中期选举前不太可能投票，实际立法可能还需时日。

  17. Anthropic Research、Anthropic 等 7 个来源Anthropic Research 等 7 个来源 · 7 篇报道 · ↑663

    Anthropic 发布 Claude Haiku 5.5 小模型

    Anthropic 发布 Claude Haiku 5.5，称其为迄今最快、最便宜且能力最强的小模型，运行成本比 Haiku 4.5 平均低约 75%，10 万 token 以内输入/输出价格为 $0.10/$0.50 每 1M token，超 100K 后为 $0.50/$2.50。它是首个支持可调 effort 设置与自适应思考的 Haiku 级模型，可作 Opus 5.5 和 Sonnet 5.5 的子智能体。Artificial Analysis 智能指数得分 43，比上一代发布一年后提升 26 分。官方 benchmark 显示 OSWorld 2.1 Max 档达 72.4%，超过 GPT-6 Luna，并超越 DeepSeek-V4.1 Flash 等成为新的小模型守门员。System Card 从 RSP、网络安全、护栏与无害性、Agent 安全、对齐、模型福祉和能力七方面报告部署前评测：整体能力低于 Opus 5，未跨过 CB-2 或 Autonomy-2 阈值，但达到 CB-1 和 Autonomy-1 阈值并应用相应缓解措施。抗提示注入能力为 Haiku 系列最强，编码与计算机使用环境自适应攻击测试中抵抗力基本追平前沿模型，Claude Code 拒答率从 66.6% 升至 84.3%，计算机使用场景从 58.9% 升至约 82.6%；网络安全护栏比 Haiku 4.5 更严格，但比 Sonnet 5.5 等近期模型宽松，仍阻止渗透测试。后续报道指出，该模型支持 100 万 token 上下文，Terminal-Bench 4.0 仅得 39.2%，远低于 Sonnet 5.5 的 70.6%，Anthropic 仍建议复杂编程任务使用更强模型。

    事件进展

    1. Anthropic 发布 Claude Haiku 5.5 系统卡

    2. Anthropic 发布 Claude Haiku 5.5 小模型