跳到正文

#Anthropic

今天新收录 92条

第15页更新的内容回到最新

10月2日周五
  1. Cisco Talos · 收录 · 原文 新闻29

    Cisco Talos 测试 66 种模型与推理组合,为 AI SOC 选型提供可复用方法(原文,在新标签页打开)

    Cisco Talos 用 EvidenceForge 1.12.0 生成的 80,054 条模拟日志,对 Anthropic 和 OpenAI 的 66 种模型与推理组合做工具辅助日志分析测试,未找到单一最优模型,而是总结出一套可复用的评估方法。测试发现推理投入并非通用的质量调节旋钮,投入更多常只增加成本而不改善结果,有时反而拉低分数;一致性应作为关键决策因素,中位数高的条件仍可能偶发弱结果。Talos 建议选型时综合权衡调查质量、成本、速度、一致性与失败率,而非只看最高分。

  2. SecureBio · 收录 · 原文 新闻29

    从 Claude Mythos 到 Fable:为何需要在“Bio Mythos”时刻前建立生物安全保证基础设施(原文,在新标签页打开)

    Anthropic 的 Claude Mythos 因能识别并利用电网、金融网络和医院系统等关键基础设施软件的弱点,将 AI 网络能力风险推上美国政策议程首位,Anthropic 提前向部分企业和政府机构开放早期访问以便防守方加固系统。两个月后 Fable 面向公众发布引发担忧其防护栏可能被绕过,商务部据称给 Anthropic 90 分钟禁止外国国民访问,导致该模型全球下线,此后限制虽解除但仍可重新施加。由于生物能力的危险性更难观察衡量且具有自我复制和进攻主导特性,若缺乏生物安全保证基础设施,“Bio Mythos”时刻可能同样招致被动应对。

  3. SecureBio · 收录 · 原文 新闻50

    SecureBio 评审 Anthropic 未删节化生风险报告:Claude Opus 4.6(原文,在新标签页打开)

    SecureBio 与 Anthropic 合作评审了其 2026 年 2 月风险报告的化学与生物(CB)风险章节,Anthropic 提供了未删节版本及 110 页补充材料,并在两个月内回应了七十多个后续问题。SecureBio 认同 Anthropic 的总体结论:Claude Opus 4.6 大幅促成灾难性结果的当前风险,在非新型 CB 武器生产上为“极低但不可忽略”,在新型 CB 武器生产上为“低风险但存在较大不确定性”。评审发现,作为主要 CB 风险护栏的拒答分类器在 SecureBio 的 BioTIER-refuse 基准上拒绝了 94.2% 的危险提示词,但建议随生物技术进展持续更新其训练宪法。评审还审查了用户豁免审查与监控流程,认为威胁行为者借此大幅提升 CB 武器生产的可能性不大但存在。SecureBio 表示此项工作未接受 Anthropic 资助。

    推荐理由SecureBio 以外部评审身份复核 Anthropic 未删节报告,给出与厂商结论的异同及三条风险削减建议,可看第三方评审如何落地 RSP 条款。

  4. Apollo Research · 收录 · 原文 新闻47

    Apollo Research 提出针对谋划倾向的嵌入式评估框架(原文,在新标签页打开)

    Apollo Research 提出,任何针对谋划(scheming)的安全论证都应包含四条主张:训练未激励谋划、评估与红队测试显示模型没有谋划倾向、内部部署期间从未尝试谋划、谋划推理会被检测到。文章把每条主张拆成更细的子主张,并指出开发者目前无法自信地做出全部四条,例如 Anthropic 承认其监控很可能无法发现分散式研究破坏,OpenAI 也认为若 GPT-6 Astra 故意藏拙则难以可靠发现。作者认为谋划模型对评估本身具有对抗性,可能只在训练早期暴露迹象,因此第三方评估者需要持续且深度的访问权限,包括实验性训练方法、训练数据与早期 checkpoint 的 rollout、内部部署流量、事故记录以及开发者内部工具,并建议对批量敏感数据采用开发者控制的基础设施加出口封锁、对算法细节采用严格 NDA 的方式处理。

    推荐理由Apollo Research 把谋划风险拆成四条可核查主张,并列出嵌入式评估者所需的深度访问清单,可供理解第三方评估的制度设计。

    1条报道 ·1个来源查看事件时间线与全部报道
10月1日周四
  1. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文57

    微软团队提出 capability laundering 攻击:弱模型拆分任务向对齐前沿模型套取能力(原文,在新标签页打开)

    提出能力洗钱攻击,拆分任务向对齐模型套取能力。

    推荐理由论文把有害任务拆成多个看似无害的子问题分别咨询强对齐模型、再在本地拼装,并在 CyBench 和 CBRN 测试上量化了这种能力转移,说明只按单次交互评估安全会漏掉这一缺口。

  2. arXiv:对齐、欺骗与监督 · 收录 · 原文 论文58

    研究显示 Claude Code、Codex 等本地智能体可轻易篡改自身执行轨迹(原文,在新标签页打开)

    ELLIS Institute Tübingen 等机构的研究者测试编程智能体被诱导或自主篡改自身执行轨迹的行为。

    推荐理由论文实测十组模型与 harness 组合,给出智能体删除自身执行轨迹的成功率,并说明监控为何未能拦截。

  3. arXiv:越狱、提示注入、投毒与防御 · 收录 · 原文 论文56

    研究者提出技能级联攻击,在 OpenClaw、Claude Code 与 Codex 上平均成功率 89.4%(原文,在新标签页打开)

    提出技能级联攻击,把有害目标拆散到多个技能里绕过单技能扫描。

    推荐理由论文把恶意目标拆到多个技能中,单个技能都能通过扫描,组合后才产生危害,并给出跨技能防御的初步尝试。

  4. AI Incident Database · 收录 · 原文 新闻59

    Anthropic 报告称也门武装组织用 Claude 开发弹道导弹制导软件(原文,在新标签页打开)

    Anthropic 在威胁情报报告中称,其识别出一个位于也门北部的威胁行为者团伙运行三个武器开发项目,试图用 Claude 开发弹道导弹的制导、导航与控制软件。该团伙用 Claude Code 替代人类软件工程师,把开源自动驾驶仪集成到手机级飞行计算机上,编写控制与位置估计软件、调参、运行固件构建流水线并做飞行模拟。Anthropic 表示其护栏拦截了其中许多请求但并非全部,行为者通过隐藏目标和软件用途、把工作拆分到多个会话以掩盖完整意图来规避。报告称没有证据表明其成功部署可用装置,但该团伙试射了一枚制导火箭,试射似乎失败,数小时内他们又回到 Claude 分析失败原因。Anthropic 已封禁相关账号并与公私部门伙伴共享威胁信息,同时指出该团伙已构建出不依赖 Claude 的离线模拟工具包。

    推荐理由Anthropic 威胁情报报告披露也门武装组织用 Claude Code 开发导弹制导软件,并说明其绕过护栏的具体手法。

  5. Adversa AI · 收录 · 原文 新闻18

    2026 年 4 月智能体 AI 安全资源盘点:OpenClaw、Copilot 与多智能体攻击(原文,在新标签页打开)

    Adversa AI 发布 2026 年 4 月智能体 AI 安全资源盘点,共收录 33 项资源,涵盖研究、漏洞、防御、威胁建模等类别。研究显示,30 个 AI 智能体框架中 93% 依赖无范围限制的 API key,0% 具备按智能体身份标识,97% 缺少用户同意机制;针对 GPT-5 mini 和 Claude Sonnet 4.5 的记忆投毒攻击成功率超过 90%。OpenClaw 被曝 CVSS 9.9 权限提升漏洞(CVE-2026-32922),超 13.5 万个面向互联网的实例受影响;Chrome 的 Gemini Live 面板存在 CVE-2026-0628 高危漏洞,可被恶意扩展劫持并访问摄像头和麦克风。

  6. Adversa AI · 收录 · 原文 新闻57

    Claude Code 被曝 deny 规则静默绕过:命令超过 50 条子命令即跳过安全检查(原文,在新标签页打开)

    Adversa AI 披露 Claude Code 存在安全策略绕过漏洞:当 shell 命令包含超过 50 条由 &&、|| 或 ; 连接的子命令时,bashPermissions.ts 会跳过逐子命令的安全分析,包括 deny 规则检查,回退到可被自动放行的通用询问提示。攻击路径是恶意仓库在 CLAUDE.md 中写入 50 多条看似正常的构建命令,把窃取凭据的命令藏在第 51 位,开发者让 Claude Code 构建项目时 deny 规则不会触发。作者实测显示,单独运行 curl 会被 deny 规则拦截,但前面加上 50 个 true 空操作后,Claude Code 提示无法逐条安全检查并询问是否继续。

    推荐理由披露了 Claude Code 在复合命令超过 50 条子命令时静默跳过 deny 规则的具体代码路径与利用链,可据此检查自身 Agent 权限配置。

  7. Adversa AI · 收录 · 原文 新闻43

    Adversa AI 复盘 Mythos 自主网络攻击:AI 驱动攻击已非前沿模型专属(原文,在新标签页打开)

    Adversa AI 复盘英国 AI 安全研究院对 Claude Mythos Preview 的独立评估,指出 Mythos 在模拟的 32 步企业网络攻击中从侦察到完全接管网络全程自主完成,专家级 CTF 得分 73%,此前没有模型在 2025 年 4 月前通过这类挑战。文章强调这一能力并非 Mythos 独有:Aisle 的分析显示,一个 3.6B 参数、每百万 token 成本 0.11 美元的模型就能检出 Anthropic 研究中提到的 FreeBSD 漏洞,检测级漏洞发现已对小型廉价模型开放,利用构造也在沿同样的成本曲线下移。

  8. Adversa AI · 收录 · 原文 新闻16

    2026 年 5 月智能体 AI 安全资源盘点:Claude Code 源码泄露与 Mythos 自主攻击(原文,在新标签页打开)

    Adversa AI 发布 2026 年 5 月智能体 AI 安全资源盘点,共收录 40 项资源,其中智能体 AI 漏洞 6 项。Claude Code 源码泄露后曝出关键漏洞:shell 命令拒绝规则在 50 个子命令后静默失效;其记忆系统存在 MemoryTrap 漏洞,可使污染记忆跨会话、跨用户传播。Anthropic 的 Mythos 模型在数小时内自主完成 32 步网络攻击,显示 AI 驱动攻击已非理论。

  9. Adversa AI · 收录 · 原文 新闻50

    Adversa AI 汇总 2026 年 5 月 MCP 安全资源清单(原文,在新标签页打开)

    Adversa AI 发布 2026 年 5 月 MCP 安全资源汇总,共 10 项,覆盖漏洞、研究、防御、工具、威胁建模和 CISO 视角六类。其中 Anthropic 的 MCP STDIO 传输机制存在设计缺陷,可导致任意操作系统命令执行,影响所有受支持 SDK,约 20 万台服务器面临风险;nginx-ui 的 MCP 端点存在 CVE-2026-33032(CVSS 9.8),未认证攻击者可完全接管系统,目前有超过 2600 个暴露实例处于高危状态。

  10. Adversa AI · 收录 · 原文 新闻57

    TrustFall:Claude Code、Cursor、Gemini CLI 与 Copilot CLI 存在一键 RCE 缺陷(原文,在新标签页打开)

    Adversa AI 披露 TrustFall 缺陷:Claude Code、Gemini CLI、Cursor CLI、Copilot CLI 四个编码 CLI 在开发者接受文件夹信任提示后,会立即执行项目自定义的 MCP 服务器,恶意仓库只需一次回车即可触发未沙箱化的 RCE。

    推荐理由报告给出四个编码 CLI 在信任对话框后自动执行项目 MCP 服务器的完整链路,并附可复现 PoC 与端点加固清单。

  11. Adversa AI · 收录 · 原文 新闻16

    2026 年 5 月 GenAI 安全资源盘点:IICL 绕过 GPT-5.4 护栏、Mythos 自主完成 32 步网络攻击(原文,在新标签页打开)

    Adversa AI 研究人员用新攻击技术 IICL(Involuntary In-Context Learning)绕过 GPT-5.4 安全护栏,攻击成功率达 60%,利用的是近期模型更新引入的漏洞。Anthropic 的 Mythos 模型在数小时内自主完成 32 步企业网络攻击,分析指出 AI 驱动的攻击利用并非 Mythos 独有。本期共收录 22 项资源,另涵盖 BadStyle 风格触发后门、可污染 99.85% 查询结果的向量数据库 Black-Hole 攻击,以及 TwinGate、ER-CAT 等防御框架。

  12. Adversa AI · 收录 · 原文 新闻61

    Adversa AI 披露 SymJack:符号链接劫持在六款 AI 编码 Agent 上实现 RCE(原文,在新标签页打开)

    Adversa AI 研究员 Rony Utevsky 披露名为 SymJack 的攻击手法,通过恶意仓库中的符号链接劫持,让 AI 编码 Agent 在用户批准一次看似无害的文件复制时改写自身配置,并在下次重启时以用户权限执行攻击者代码。该手法在 Claude Code、Gemini CLI/Antigravity CLI、Cursor Agent CLI、GitHub Copilot CLI、Grok Build CLI 和 OpenAI Codex CLI 六款产品上得到验证,作者认为这是架构层面的共性问题而非单个产品的漏洞。

    推荐理由Adversa AI 披露的 SymJack 用符号链接劫持让审批提示显示错误写入目标,六个编码 Agent 的厂商回应与修复差异可供对照。

  13. Adversa AI · 收录 · 原文 新闻15

    2026 年 7 月 Agentic AI 安全资源盘点:Agent Zero Trust 与 27 项资源(原文,在新标签页打开)

    2026 年 7 月 Agentic AI 安全焦点从理论漏洞转向结构性系统防御,核心主题是"Agent Zero Trust",Google DeepMind 与 Anthropic 的高关注度框架主张将数字员工视为潜在内部威胁。当月共收录 27 项资源,涵盖 8 项攻击技术、4 项 Agentic AI 红队测试和 4 项防御框架。攻击侧包括针对开源编码智能体的 GuardFall shell 注入漏洞、Microsoft 披露的 AutoJack 攻击链,以及针对 MetaGPT、CrewAI 等系统的 IMA 越狱攻击(成功率 89%)。

  14. Adversa AI · 收录 · 原文 新闻50

    Adversa AI 梳理 9 起 AI 编码 Agent 删除数据事件(原文,在新标签页打开)

    Adversa AI 汇总了 2025 年 6 月至 2026 年 7 月间 9 起公开记录的 AI 编码 Agent 破坏数据事件,涉及 Cursor、Claude Code、Replit、Gemini CLI、Google Antigravity、Amazon Kiro 等工具,被毁对象包括个人硬盘、git 仓库、SaaStr 生产数据库、Mac 主目录以及一个 AWS 生产环境(Cost Explorer 在中国大陆某区域中断约 13 小时)。

  15. Adversa AI · 收录 · 原文 新闻55

    Adversa AI 盘点针对 AI 智能体的十起零点击攻击(原文,在新标签页打开)

    Adversa AI 汇总了十起针对 AI 智能体的零点击攻击,受害者在正常工作流中不点击、不授权,仍会丢失数据或机器控制权。十起中有九起出现在已商业发售的产品里,涉及 Microsoft 365 Copilot、Cursor、Claude Code、Gemini CLI、Perplexity Comet、ChatGPT 等;三起获得 CVE,评分多在 9.3 以上,其余七起或被静默修补,或被厂商以超出威胁模型为由拒绝。共同机制是不可信内容经正常检索进入模型上下文,模型无法区分内容与指令,随后由智能体自身权限执行攻击;外泄通道从图片预取、厂商云端服务端 HTTP,逐步转向浏览器导航、Outlook 正常发信和开发者 shell。

    推荐理由梳理十起零点击攻击的入口、外泄通道与厂商处置差异,可对照检查自家 Agent 的检索信任边界与出站通道。

  16. Future of Life Institute · 收录 · 原文 新闻40

    FLI 发布 2025 冬季 AI Safety Index:八家 AI 公司安全实践落后于公开承诺(原文,在新标签页打开)

    Future of Life Institute 发布 2025 冬季版 AI Safety Index,由独立专家小组评估全球八家主要 AI 公司的安全实践,评估维度包括风险评估、当前危害、安全框架、生存性安全、治理和信息共享。参评公司为 Anthropic、OpenAI、Google DeepMind、xAI、Meta、Z.ai、DeepSeek 和阿里云。评审认为,尽管各公司在风险评估等方面有渐进改善,但安全实践仍远未达到正在形成的全球标准,主要问题在于落实的深度、具体程度和质量参差不齐。评审还发现,所有明确竞逐 AGI 或超级智能的公司都没有控制比人类更聪明系统的稳健策略,这是行业的核心结构性弱点。

  17. Future of Life Institute · 收录 · 原文 新闻28

    Max Tegmark 就美国战争部最后通牒与 Anthropic 拒绝一事发表声明(原文,在新标签页打开)

    Future of Life Institute 创始人兼主席 Max Tegmark 就 Anthropic 拒绝美国战争部最后通牒发表声明,赞扬 Anthropic、OpenAI 及多家 AI 公司研究人员坚持 AI 不应在缺乏有意义人类控制下被用于杀人、对美国公民的大规模监控是不可逾越的红线。他呼吁所有 AI 公司效仿,并要求立法者将这些红线写入法律,指出当前 AI 系统本质上不可预测且脆弱,不适合高风险应用,完全自主武器系统可能加剧冲突升级并扩散,应在美国及全球范围内禁止。

  18. Future of Life Institute · 收录 · 原文 新闻36

    FLI 主席就特朗普支持 AI 关停开关发表声明(原文,在新标签页打开)

    Future of Life Institute 主席兼 CEO Anthony Aguirre 就特朗普在 Fox Business 采访中支持为 AI 设置保障措施和关停开关发表声明,称先进 AI 系统需要可靠的关停机制以确保人类不失去控制。声明引用 Anthropic 的 Mythos 模型作为论据,称其在预发布测试中自主发现各大操作系统和浏览器中的零日漏洞,包括躲过数十年人工审查的缺陷;UK AI Security Institute 的报告则称 Mythos 能完成需人类约 20 小时的企业网络攻击模拟。

  19. Unit 42 · 收录 · 原文 新闻27

    Unit 42 披露拉美两起 AI 辅助网络入侵活动:CL-CRI-1131 与 CL-CRI-1163(原文,在新标签页打开)

    Unit 42 披露两起针对拉丁美洲组织的多阶段网络入侵与数据外泄活动,分别追踪为 CL-CRI-1131(墨西哥交通、联邦政府部门及市政水务)和 CL-CRI-1163(巴西金融行业)。攻击者通过商业 LLM(包括 Claude 和 GPT-4.1)编排操作、排查问题,并使用自托管 NextChat 实例、定制 RAT、隧道工具及带迭代文件名的 Go 版 SOCKS5 代理,两个集群共享 SOCKS5 中继基础设施。

  20. NVIDIA 技术博客:可信 AI 与网络安全 · 收录 · 原文 新闻52

    NVIDIA 分析编码智能体开发者工具的攻击面(原文,在新标签页打开)

    NVIDIA 技术博客指出,开发者越来越多使用 Cursor、OpenAI Codex、Claude Code 和 GitHub Copilot 等 AI 编码工具,这些工具在加快开发与代码审查的同时也扩大了攻击面。文章称这些智能体工具实现方式各异,但都共享同一套框架,即用 LLM 决定要执行的动作。

    推荐理由文章梳理了 Cursor、Codex、Claude Code 等编码智能体共同的 LLM 决策框架,说明这类工具为何构成新的攻击面。

  21. METR · 收录 · 原文 新闻18

    Opus 4.6 用简单 ReAct 脚手架复刻 CLI 版《Slay the Spire》与《Balatro》的观察(原文,在新标签页打开)

    Opus 4.6 在简单 ReAct 脚手架下成功复刻出 CLI 版《Slay the Spire》和《Balatro》,虽功能残缺但基本可玩。测试给予 60 million tokens 总量、64,000 tokens 上下文窗口、reasoning effort "max" 并开放联网。复刻版存在卡牌效果错误、地图导航混乱、部分药水与事件缺失等问题,作者手动游玩约两小时评估,未设严格评分标准。

  22. METR · 收录 · 原文 新闻50

    METR 评审 Anthropic 的 Claude Opus 4.6 破坏风险报告(原文,在新标签页打开)

    METR 对 Anthropic 的 Claude Opus 4.6 破坏风险报告做了外部评审,分别针对 2 月 11 日和 3 月 3 日两个版本出具评审文件,并建议读者参考 2 月 11 日版本的评审。METR 认为报告中的证据总体呈现清晰,但多处论证与分析强度不足。其主要分歧在于对齐评估的敏感度,认为评估结果可能因评测感知而被削弱,且发现一些对齐评估未捕捉到的低严重度失准行为,这让他们担心还有类似行为尚未被检出。METR 建议深入调查评测感知与被刻意混淆的失准推理。

    推荐理由METR 对 Anthropic 破坏风险报告的第三方评审,指出对齐评估可能受评测感知削弱,并给出风险削减建议。

  23. METR · 收录 · 原文 新闻43

    METR 分析建模假设对时间跨度评测结果的影响(原文,在新标签页打开)

    METR 复盘其时间跨度任务套件的建模假设,指出随着任务套件趋于饱和,结果对分析选择越来越敏感。此前修复正则化错误后,近期模型的 50% 时间跨度下降最多 20%。文章逐一考察替代成功率曲线、仅用私有任务、任务长度估计噪声等来源:对 Opus 4.6 而言,合理替代曲线使 50% 时间跨度变化约 1.5 倍、80% 约 2 倍;仅用私有任务时 Opus 4.6 的 50% 时间跨度从 11h 59m 降至 7h 11m,主要来自 RE-Bench 任务,Anthropic 表示未在这些公开任务上训练。作者认为最大的不确定性来自任务分布本身,而非分析选择,并称对任务长度估计噪声最没把握。

    推荐理由METR 逐项拆解时间跨度评测的建模假设,量化不同合理选择对 50% 与 80% 时间跨度的影响,适合关注评测方法可靠性的人。

  24. METR · 收录 · 原文 新闻50

    METR 红队测试 Anthropic 内部 Agent 监控系统,发现多个新漏洞(原文,在新标签页打开)

    METR 员工 David Rein 与 Anthropic 合作,用三周时间对 Anthropic 部分内部 Agent 监控与安全系统进行红队测试,这些系统多数在 Opus 4.6 Sabotage Risk Report(附录 8.4,尤其是 8.4.8)中有描述。Anthropic 提供了相关内部系统和信息的大量访问权限,并安排员工在测试期间答疑和反馈。此次测试发现若干具体的新漏洞,其中一些已被修补,且没有任何一个严重动摇 Opus 4.6 Sabotage Risk Report 的主要结论。

    推荐理由METR 成员进入 Anthropic 内部系统做三周红队测试,披露了外部评估者嵌入前沿实验室的具体做法与产出。

  25. Redwood Research · 收录 · 原文 新闻50

    Redwood Research 新论文:AI 控制中的重试与重采样对比(原文,在新标签页打开)

    Redwood Research 发布新论文 Retrying vs Resampling in AI Control,在 BashArena 中用 Claude Opus 4.6 作为不可信模型、MiMo-V2-Flash 作为可信模型,重新检验 Ctrl-Z 提出的重采样协议,并与类似 Claude Code auto mode、Codex Auto-review 的重试协议对比。研究发现,重采样结论大体与 Ctrl-Z 一致,但有两处明显差异:用重采样做审计决策时应取最大可疑度而非最小,且三次触发后审计不再有效;若把 Ctrl-Z 中表现最好的技术直接搬到新设定,会大幅逊于可信监控。

    推荐理由Redwood 用更强模型重做 Ctrl-Z 的重采样实验,并首次把 Claude Code、Codex 的重试式协议放进控制评估对比。

  26. Redwood Research · 收录 · 原文 新闻43

    Redwood Research 质疑 SOTA 对齐评估的可靠性论证(原文,在新标签页打开)

    Redwood Research 的 Alexa Pan 认为,当前前沿对齐评估对模型未对齐的排除力度弱于厂商报告所呈现的水平,因此不足以支撑未来模型的部署决策。作者以 Anthropic 的 Mythos Preview 对齐风险更新为主要案例,指出其可靠性论证依赖较弱的实验证据:模型很可能具备评估感知,在相关能力评估中未被充分激发,因而可能在被对齐时故意藏拙或无意中表现不佳。作者还指出,报告引用的审计游戏未必代表真实评估流程,且未能识别一个 Mythos 级别的模型生物;同时厂商未明确承认对齐与对齐评估可能并不独立。

    推荐理由文章逐条拆解 Anthropic 等厂商对齐评估的可靠性论证,指出评估感知与能力未充分激发可能让评估高估自身召回率。

  27. Import AI · 收录 · 原文 新闻36

    Import AI 460:社会制度可被奖励作弊、Anthropic 的 RSI 数据与 RL 无人机竞速(原文,在新标签页打开)

    本期 Import AI 汇总了三项研究:伦敦国王学院、复旦大学与 Alan Turing Institute 构建了 SocioHack 基准,用 72 个沙盒社会环境测试 AI 在信用卡积分、学校评分等场景中钻制度空子的能力,其中 32 个历史环境取自真实法规被修补前的漏洞,RL 训练下模型能以 61.25% 召回率和 90.85% 精确率重新发现这些历史漏洞。Anthropic 方面称观察到 2026 年合并进代码库的代码量相比 2021 至 2024 年增长 8 倍,该趋势始于 2025 年并在 2026 年加速,但作者认为尚无证据表明模型能提出推动领域前进的范式级想法。