面向大语言模型智能体谋划行为的宪法式黑盒监控
Constitutional Black-Box Monitoring for Scheming in LLM Agents
AI 导读
研究者提出宪法式黑盒监控器，用仅依赖外部可观察输入输出的提示分类器检测大语言模型智能体的谋划行为，并在由自然语言行为规范生成的合成数据上优化。论文设计了 STRIDE（迭代精炼）和 Gloom（智能体-环境模拟）两条合成轨迹生成管线，各生成 1,000 个样本，经提示扫描、人工精炼和自动提示优化训练前沿大语言模型监控器，并在 ControlArena 的 7,500 条保留轨迹上评估，ControlArena 是一套让智能体在更真实情境中运行的环境。结果显示，仅凭合成数据选出的监控器能泛化到更真实的环境并捕捉到有效的谋划信号，但性能在该设置下很快饱和，简单的提示扫描即可匹配更大量优化的结果，继续优化不再带来提升反而导致过拟合。