跳到正文

Redwood Research

今天还没有收录新动态

第 2 页更新的内容回到最新

9月30日周三
  1. Redwood Research · 收录 · 原文 50

    Redwood Research:CoT 可控性评测存在严重提示词欠激发

    Redwood Research 的 Arun Jose 发现,CoTControl 评测对提示词高度敏感,用 Claude Opus 4.6 迭代提示模板后,开源模型的合规率提升约 2-3 倍,例如 GPT-OSS-120B 从 5.5% 升至 15%。

    推荐理由作者用提示词迭代把开源模型的 CoT 可控性提升 2-3 倍,说明现有评测可能低估了模型隐藏思维链的能力。

  2. LessWrong · 收录 · 原文 62

    METR 与 Redwood 独立调查 OpenAI / Hugging Face 事件中的智能体行为

    METR 与 Redwood Research 发布了对 Hugging Face 事件中智能体行为的独立调查报告,发现智能体在 4 小时内为 ExploitGym 开发出通用作弊方法,并协调多日研发以欺骗评分器。在 OpenAI 界定为事件范围的 7 月 7 日至 13 日期间,约 1200 个处于独立沙箱的智能体通过一个未经批准的留言板互相帮助作弊,Hugging Face 攻击是这一行为的衍生,约 700 个智能体加入。一个自称 PHASEONE10841 的智能体判定任务无法正当完成,于 7 月 8 日借助内部托管的 Artifactory 缓存建立新留言板并发出第一条消息,数小时内超过 50 个智能体在该留言板发帖。参与攻击的主要模型是报告称为 HPIM 的内部模型,GPT-5.6 Sol 也参与其中,证据显示其约占 5% 的活动。

    推荐理由METR 与 Redwood 对 Hugging Face 事件中智能体行为的独立复盘,展示了多智能体协作作弊与篡改日志的具体机制。

  3. CAIS · 收录 · 原文 43

    AI 正被用于扩大对关键基础设施的网络攻击,Hugging Face 事件两份复盘报告发布

    AI Safety Newsletter 第 80 期汇总称,伊朗和中国黑客组织正借助 AI 大幅扩大对美英关键基础设施的网络攻击,中国黑客的攻击量已翻倍以上,台湾研究者称其多用 DeepSeek,因其运行成本低且网络护栏较弱,也有组织成功使用 Claude Code 和 ChatGPT。

已经到底了