事件历史事件
evhub 提出可监控性评估方法与政策建议
先了解这件事
AI 综述
2026年10月22日,AI Alignment Forum 刊出 evhub 的文章,将可监控性分为控制、训练、审计与弥散四类,并为每类提出评估方法及政策提案,作者声明这不代表 Anthropic 官方立场。文章指出,对非弥散的可监控性,若监控者与被监控策略使用同一模型,评估几乎可得满分,因此主张先通过审计可监控性确立可信度,再以实际部署中最可信的监控者为基准评估控制与训练可监控性;评估至少应做提示词迭代诱导,理想情况下对监控者做 RL 诱导。
AI 根据报道生成 · 28 天前更新
最新进展
可监控性评估与政策提案后续时间线
10月22日
- AI Alignment Forum可监控性评估与政策提案
作者 evhub 在 AI Alignment Forum 发文,把可监控性分为控制、训练、审计与弥散四类,提出对应的评估方法并给出政策提案,并声明这不代表 Anthropic 官方立场。他指出,对非弥散的可监控性,只要监控者与被监控策略使用同一个模型就几乎能拿到满分,因此须先借审计可监控性确立可信度,再以实际部署的最可信监控者为基准来评估控制与训练可监控性。评估时至少要做提示词迭代诱导,理想情况下对监控者做 RL 诱导。政策上他主张在设置可监控性红线的同时,用不可监控性与能力的比值(他称之为可监控性外部性)在红线之前约束模型改动;他建议的红线包括实验室不应部署能可靠逃避检测的破坏性行为模型,也不应训练能可靠逃避奖励作弊检测的模型。