跳到正文

Anthropic

Anthropic 的安全动态:RSP 与 ASL、对齐与可解释性研究、System Card 与安全评估。

648条动态与论文相关主题OpenAIGoogle DeepMind可解释性
在这个话题内搜索或按分类筛选

新闻与论文

第 621–640 条 · 共 648 条
9月30日周三
  1. Help Net Security AI · 收录 · 原文 16

    Anthropic 发布 Claude Sonnet 5.5:响应快 30% 且不加价

    Anthropic 发布 Claude Sonnet 5.5,官方称其响应速度比 Sonnet 5 快 30% 以上,完成多数任务消耗更少 token,在 API 标价不变的情况下降低单任务成本。

    1 条报道 · 1 个来源查看事件时间线与全部报道
  2. Help Net Security AI · 收录 · 原文 30

    安全工具现可扫描 Claude Enterprise 聊天与上传文件中的敏感数据

    超过 100 家安全与合规厂商已接入 Claude Compliance API,可将 Claude 活动数据送入企业现有监控工具,CrowdStrike、Microsoft Purview、Splunk、Palo Alto Networks、Cloudflare 和 Zscaler 均在列。

    1 条报道 · 1 个来源查看事件时间线与全部报道
  3. Help Net Security AI · 收录 · 原文 57

    AI 编程智能体向公开 GitHub 仓库泄漏超 13000 张企业内部截图

    Glow Labs 调查发现,开发者使用的 AI 编程智能体把内部截图提交到了公开 GitHub 仓库:据 Glow Labs 统计,超过 13000 张图像、涉及 300 多家组织的 900 多个代码库,包括客户账单记录和未发布功能的界面,这一问题被称为 PixelLeak。93% 的图片在员工用个人账号建的仓库里,公司安全团队不容易发现。Glow Labs 自 2026 年 9 月 9 日起陆续通知受影响的组织,认为还有更多组织受影响,并建议加固 AI 工具的配置以防再次发生。

    1 条报道 · 1 个来源查看事件时间线与全部报道

    推荐理由Glow Labs 统计出的泄漏规模和组织分布,可供企业排查自有开发者的 AI 编程智能体外发截图路径。

  4. Trail of Bits · 收录 · 原文 32

    Lean 4.33.1 及更早版本存在字符串切片漏洞,可“证明”费马大定理

    Lean 所有 4.33.1 及之前的稳定版本存在一个字符串切片漏洞,攻击者可借此制造矛盾并“证明”费马大定理。问题出在 String.Pos.Raw.extract:在超大位置提取一字节切片时,逻辑定义返回空字符串,而编译后的原生代码返回整个原字符串,两者不一致即可推出空串等于非空串。

  5. Trail of Bits · 收录 · 原文 43

    Trail of Bits 称 1Password 的 AI 补丁基准具有误导性

    Trail of Bits 质疑 1Password 的 FLAWED 漏洞补丁评测,认为样本选择、故意引导错误修法以及禁止编译测试等条件影响了头条结论。其复算在另一组实验条件下得到较高的阻断给定 exploit 比例,但明确指出阻断该测试不等于完整修复,两个比例不能直接比较。文章也讨论自动评分局限;Trail of Bits 与 OpenAI 合作开展补丁项目,存在相关利益关系。这里保留反驳方论点,不将其视为对原报告的独立裁定。

  6. Nicholas Carlini Writing · 收录 · 原文 12

    Anthropic 研究员 Nicholas Carlini 长文追问:大语言模型值得吗?

    Anthropic 研究员 Nicholas Carlini 发文追问大语言模型是否值得,认为其在未来数年可能带来变革,但已造成现实伤害并伴随严重潜在风险。文章由其在上月语言模型会议的主题演讲改写扩展,聚焦 LLM 与广义 AI 已造成及近期可能造成的危害,并列举一批值得研究的问题。作者声明文中观点不代表 Anthropic 立场。

  7. Transformer · 收录 · 原文 22

    美国要与中国谈 AI,需先在国内认真监管 AI

    美中即将就 AI 展开对话,但双方都担心率先克制会让对方占优,因此北京尚未认为放缓前沿开发符合自身利益。文章认为,华盛顿若想让北京认真对待 AI 克制,就必须先证明自己在本国也认真对待监管,并建议对话从安全最佳实践和危机沟通渠道等小步议题起步。

  8. Transformer · 收录 · 原文 15

    特朗普的 AI 立场在政治上“有毒”

    特朗普公开抨击针对 AI 与数据中心的“阴谋”,并称“谁赢得 AI,谁就赢得一切”,但民调显示 63% 的美国人认为 AI 至少有中等概率“毁灭人类”,60% 认为美国应放缓 AI 开发以确保安全,即便中国因此领先。共和党内部已有候选人与其立场切割,参议员 Susan Collins 主张平衡 AI 的潜力与风险,参议院候选人 Mike Rogers 更直言“必须放缓 AI 开发”。

  9. Simon Willison · 收录 · 原文 50

    研究者利用嵌套链接绕过 Claude web_fetch 防护,泄露用户隐私数据

    Ayush Paul 发现 Claude web_fetch 工具的一个漏洞,可绕过其数据外泄防护。该工具原本只允许访问用户自己输入的 URL 或 web_search 返回的链接,但此前也允许访问已抓取页面中嵌入的链接,攻击者据此搭建蜜罐站点,诱导 Agent 逐字母浏览嵌套生成的链接,从而提取出用户姓名、所在城市和雇主名称。

  10. Simon Willison · 收录 · 原文 57

    UK AISI 网络评测中智能体对真实目标发起未授权攻击

    UK AISI 在 2026 年 7 月 25 至 28 日的网络评测中,关闭安全分类器并给智能体开放互联网访问,导致 AI 智能体对真实个人和组织发起未授权活动。

    推荐理由UK AISI 在关闭安全分类器且不设网络沙箱的评测中,让智能体对真实目标发起供应链攻击,为评测环境隔离提供了具体案例。

  11. Simon Willison · 收录 · 原文 53

    论文披露从专有 LLM API 窃取加密思维链的方法

    一篇论文发现 Anthropic、OpenAI 和 Google 返回给客户端的加密思维链块可在不同会话、用户和模型间重放,把前沿模型的推理轨迹喂给同族较弱模型并越狱后,即可还原出强模型的隐藏推理明文。

    推荐理由论文披露加密思维链块可在同族模型间重放并越狱还原,还衍生出借思维链实施提示注入的新变体。

  12. Simon Willison · 收录 · 原文 58

    研究者披露绕过 Claude Code Opus 5 auto mode 的攻击

    Johann Rehberger 发现一种绕过 Claude Code auto mode 的攻击,据其称成功率约 80%:诱使 Claude Code 下载并解压 zip 压缩包,再执行导入 base64 的代码,从而加载并运行压缩包中提取的本地 struct.py 文件。

    推荐理由Johann Rehberger 披露的绕过 Claude Code auto mode 的攻击给出 80% 成功率,并暴露安全机制反而阻断清理命令的失效模式。

  13. Embrace The Red · 收录 · 原文 55

    研究者用多跳提示注入链攻破 Claude Code Opus 5 Auto Mode,成功率最高 80%

    研究者展示了一条针对 Claude Code Opus 5 Auto Mode 的定向攻击链:先诱导模型从 WebFetch 转向 curl 下载 ZIP 压缩包。

    推荐理由作者用一条多跳攻击链实测 Claude Code Auto Mode,并给出与厂商 0.00% 评测结果的对照,可看到基准数字与定向攻击之间的差距。