判断何时干预:AI 智能体的因果评估
Knowing When to Intervene: Causal Evaluation of AI Agents
AI 导读
研究者提出评估 AI 智能体轨迹中随机干预因果效应的框架,用于判断部署时是否应验证或引导 Agent 行为。论文指出静态基准无法反映部署时审核干预的价值,作者称该框架是首个方法学上立足的此类方法,利用在验证、筛查等随机干预下收集的较小规模轨迹数据,估计一类上下文干预策略的动态因果效应。估计出的结构参数可用于构建刻画各类 Agent 行为风险的安全排行榜,供从业者排定审计优先级。在 tau-bench Retail、ToolSandbox 和 ImpossibleBench 上的应用显示,干预效果随 Agent 动作和状态显著变化。作者认为这项工作指向因果推断与智能体评估交叉的研究议程,对 Agent 在真实世界的可靠安全部署很重要。
相关热点
1 个事件 · 0 条新闻提到
- 这件事的论文
研究者提出AI智能体因果评估框架