跳到正文

奖励作弊 · News

10月13日 · 周二

奖励作弊 · News

按原发与事件进展排列
10月9日周五
  1. Goodfire Research、BasetenGoodfire Research 等 2 个来源 · 2篇报道 · 31

    Goodfire与Baseten合作推出Project Beacon安全监控

    Goodfire 与 Baseten 合作推出 Project Beacon,把 Goodfire 的安全栈接入 Baseten 推理平台,通过读取生成过程中的模型内部激活来定义策略,在输出到达用户或工具前检测并处置不安全事件,覆盖提示注入、越权操作、敏感数据泄露和网络滥用四类风险。其激活监控器复用模型已有计算,可在每次前向传播中低延迟运行,监控与生成并行且不阻塞响应,并与 judge 级联以降低成本。在 Kimi K3 的生产网络监控评估中,该方案检出约 93% 的有害会话,仅将 5.5% 的良性会话标记复核,judge 成本最多降低约 50 倍,且推理吞吐无明显下降。Baseten 计划未来数月先面向部分模型和受监控行为发布,再扩展至企业控制与开发者体验。

9月10日周四
  1. Cisco · 36

    Cisco 发布 AI 安全与安全框架 v2,新增智能体自主性失效分类

    Cisco 发布 Integrated AI Safety and Security Framework v2,新增 OB-002 智能体自主性失效目标,下设 Excessive Agency、Goal Drift、Reward Hacking 三项 Technique 和八项 Subtechnique。v2 同时把 v1 中分开的 OB-001 Goal Hijacking(提示注入)与 OB-002 Jailbreak 合并为一个目标,理由是二者在实战中难以区分、所用对抗技术高度重叠,底层 Technique 仍保留输入来源与防御方式的差异。框架还配套编写了按类别划分的 constitution,用于界定范围、区分相邻类别,并按完整轨迹而非单条消息判断行为。Cisco 建议部署方采用最小权限工具访问、关键操作审批门、不可变任务与停止条件、独立结果验证和完整审计轨迹。

已经到底了