跳到正文
原文
公众号 为机器立心·本站收录· 原文发表· 防御 →· 扫描记录里的位置 →

ASE 2026 论文:新加坡管理大学等提出 ProbGuard,预测 LLM 智能体风险并提前干预

ASE 2026|新加坡管理大学:别等出事再拦截!ProbGuard 给 LLM Agent 装上「风险预判雷达」

AI 导读

新加坡管理大学等机构的研究者提出面向 LLM 智能体的主动式运行时监控方法 ProbGuard(ASE 2026 论文),在危险发生前预测智能体走向危险的概率并提前干预。方法离线用谓词抽象和历史轨迹训练离散时间马尔可夫链(DTMC)模型并提供 PAC 统计保证,在线实时计算继续执行保持安全的概率 P_safe,低于阈值 θ 时触发重提示(reflect)或直接停止(stop)干预。自动驾驶实验中,零误报阈值下可提前 15.84 秒预警交通违规,更严格安全阈值下碰撞风险最多提前 38.66 秒告警;家庭具身智能体实验中,基线不安全行为占比 40.63%,θ=0.9 时重提示模式使不安全行为相对下降 65.37%、保留基线 80.4% 的任务完成率,停机模式相对下降 93.60% 但任务完成率降至 10.42%。

阅读原文mp.weixin.qq.com