可监控性评估与政策提案
Monitorability evaluations and policy proposals
AI 导读
作者 evhub 在 AI Alignment Forum 发文,把可监控性分为控制、训练、审计与弥散四类,提出对应的评估方法并给出政策提案,并声明这不代表 Anthropic 官方立场。他指出,对非弥散的可监控性,只要监控者与被监控策略使用同一个模型就几乎能拿到满分,因此须先借审计可监控性确立可信度,再以实际部署的最可信监控者为基准来评估控制与训练可监控性。评估时至少要做提示词迭代诱导,理想情况下对监控者做 RL 诱导。政策上他主张在设置可监控性红线的同时,用不可监控性与能力的比值(他称之为可监控性外部性)在红线之前约束模型改动;他建议的红线包括实验室不应部署能可靠逃避检测的破坏性行为模型,也不应训练能可靠逃避奖励作弊检测的模型。