Skip to content

Translation in progress Some entries still include text in the original language.

Failure-First·Indexed by this site · Originally published

面向特定领域 Agent 的符号护栏:在不牺牲效用的前提下提供更强的安全与安保保证

[Daily Paper] Symbolic Guardrails for Domain-Specific Agents: Stronger Safety and Security Guarantees Without Sacrificing Utility

AI summary

一篇论文提出用符号护栏为特定领域 Agent 提供形式化安全保证,作为训练对齐与神经护栏的补充层。作者系统审查了 80 个前沿 Agent 安全与安保基准,发现 85% 的基准缺少具体策略,仅依赖欠明确的高层目标或隐含常识;在明确给出策略的基准中,74% 可由符号护栏强制执行。符号护栏拦截工具调用与动作输出,对照形式化策略规范检查并阻止或重定向不合规动作,作者称其常用简单低成本机制而非昂贵的 LLM 推理。作者在 τ²-Bench、CAR-bench 和 MedAgentBench 三个基准上做了实证评估,结果显示符号护栏提升了安全与安保指标,同时任务成功率保持不变,被强制执行的策略违规被消除。论文同时指出,依赖上下文、概率风险评估或开放式危害判断的策略不在符号方法范围内,可形式化策略中无法符号执行的 26% 可能包含部分最关键的安全场景。

Read originalfailurefirst.org