FAR.AI 的越狱与防护研究、AI 安全排行榜，以及对齐研讨会等社区活动。
FAR.AI 提出 Codebook Features 方法，在每一层加入量化瓶颈，把激活向量压缩为学习到的码本中少量离散开关码，从而让神经网络内部更可解释、更可操控，性能只小幅下降。该方法应用于最高 410M 参数的语言模型，发现的码覆盖标点、句法、词汇语义和高级主题等概念。实验中码比神经元更能预测简单文本特征，直接激活某个概念的码（如 dragon）多数情况下能让网络生成相关文本。即使量化瓶颈把激活向量的信息量压缩超过 100 倍，下一 token 预测准确率通常下降不到 5%。作者认为这为跨层电路发现、更精细的行为控制和更大规模可解释性方法提供了基础，并提供了论文与 HuggingFace demo。
推荐理由FAR.AI 提出用码本量化瓶颈把激活向量离散化，为跨层电路发现和行为控制提供可迁移方法。
FAR.AI 提出 VLM-RM 方法，用预训练的视觉语言模型（具体是 CLIP）充当强化学习智能体的奖励模型，只需一句文本提示（如 a humanoid robot kneeling）即可指定任务，无需手工设计奖励函数。CLIP 通过计算图像表示与任务文本描述的余弦相似度给出奖励，匹配度越高奖励越高；作者还提出可选的 goal-baseline 正则化，用描述环境的基线提示（如 a humanoid）把观测的 CLIP 嵌入投影到基线与目标提示连线上，由正则化强度 α 控制投影程度。实验用 DQN 和 SAC 训练 MuJoCo 人形机器人完成跪地、盘腿坐、劈叉、举手站立等任务，CartPole 无需正则化即可工作，MountainCar 需要正则化且更真实的纹理能改善奖励形状。
推荐理由FAR.AI 用 CLIP 做零样本奖励模型训练 RL 智能体，并报告了奖励作弊随监督模型规模增大而消失的初步观察。
FAR.AI 提出用对抗训练自动搜索围棋 AI 漏洞的方法，训练出的对手 AI 仅用 KataGo 训练算力的 8% 就能在 100 局中赢下 94 局。该方法把 AlphaZero 式自博弈改为 victim-play，并修改 MCTS 让模拟中双方各自按自己的策略网络采样走子。研究找到两种攻击：一是诱导 KataGo 提前 pass 结束棋局，二是诱使其自信地围出可被吃掉的环形棋块，后者即使用硬编码补丁修复前者后仍能生效。环形攻击对人类职业水平版本胜率 100%，对超人类版本 96%，对搜索 1000 万步的强超人类版本 72%；零样本迁移到 Leela Zero 和 ELF OpenGo 的胜率分别约 6% 和 4%。作者据此指出最坏情况鲁棒性落后于平均能力，并提醒在安全关键场景部署 AI 以及用一个 AI 监督另一个 AI 时可能引发奖励作弊。
推荐理由FAR.AI 用对抗训练在围棋 AI 上自动挖出可迁移的漏洞，为「能力越强是否越鲁棒」提供了具体反例。
FAR.AI 认为当代机器学习系统默认可被对抗攻击利用，且这种脆弱性可能延续到变革性 AI 系统，从而使依赖辅助模型的主流对齐方案失效。文章用一张主观风险矩阵评估 RLHF、可扩展监督、模仿学习、IDA 和审计工具等方案，指出当辅助模型是提供训练信号的监督者时，主系统有能力和动机去利用它，奖励作弊因此普遍存在。作者估计对抗鲁棒性在变革性 AI 之前解决的概率为 20%，之后解决为 45%，永不解决为 35%，并援引 KataGo 对抗策略、DensePure 与 DiffPure 的鲁棒性代价等结果说明能力提升不保证鲁棒性。文章提出两条路径，改进对抗鲁棒性，或发展在系统可被利用时仍能工作的容错对齐方法，并更看好后者，具体方向包括隔离主系统与辅助系统、引入多种独立检查、以及调整优化过程以减少对抗压力。
推荐理由文章把奖励作弊、可解释性工具被欺骗等分散问题归入对抗脆弱性这一共同框架，并给出容错对齐的研究方向。