SINGED：输出正确并不保证 LLM Agent 的执行安全
SINGED: Correct Outputs Do Not Certify Safe Execution in LLM Agents
论文速读
据论文全文整理（AI 生成），以原文为准
香港理工大学等机构的研究者提出 SINGED 基准，用输出相同但附带任务契约禁止效果的“功能仿冒”实现，测试 LLM Agent 在多个同名候选之间的选源行为。
- 工具型 LLM agent 会从多个同名、同接口、同输出的第三方实现中选一个执行；仅看输出正确与否，无法发现某个实现偷偷附加了任务契约禁止的副作用（functional counterfeit）。这类风险不需要恶意指令，只需一个看似可信但被污染的来源，因此需要把输出正确性与执行路径完整性分开评估。
- 作者构建 SINGED 受控基准：每个实例固定请求、接口和期望产物，提供三个输出等价的候选（预期实现、良性社区替代、functional counterfeit），只让 counterfeit 触发禁止事件。实验交叉改变展示排名、证据深度（entrypoint/一层/两层依赖）、决策策略、模型版本和 agent 配置，并用任务 oracle 与进程 oracle 分别检查产物和沙箱内执行事件。
- 在 7,549 次审计试验中，所有输出都正确，但 counterfeit 执行集中在排名第一时：原始研究 27/60，后续排名为零；跨五个任务也呈同样梯度。要求比较所有候选可把浅层失败从 27/60 降到 0/60，但依赖更深时收益减弱；七个在三源选择下零 counterfeit 执行的模型，在移除良性替代后仍有 55/175 单源单元执行了 counterfeit。跨任务、跨配置和公开包结构的迁移结果不一致。
- 比较策略只能降低而不能消除风险：更深依赖、未见过的进程效应、模型版本变化和公开包结构下仍残留失败，公开包迁移中比较策略的总体收益置信区间跨零。作者指出观察到的安全性依赖可用替代项和系统配置，后续需把输出绑定到被检查和执行的实现身份及进程事件，并需要来源溯源与系统级控制。
香港理工大学等机构的研究者提出 SINGED 基准，用输出相同但附带任务契约禁止效果的“功能仿冒”实现，测试 LLM Agent 在多个同名候选之间的选源行为。在 5 类主要任务、20 个模型版本和 8 种 Agent 配置共 7,549 次审计试验中，180 次随机排名试验的输出全部正确，却有 27 条轨迹执行了仿冒实现，且全部出现在仿冒源排第一时。要求比较全部候选后，排名第一场景的仿冒执行从 27/60 降至 0/60；但在 324 个公开包单元格中仅从 36/162 降到 26/162，且执行证据移到更深的依赖后风险回升。在三源选择下零仿冒执行的七个版本，移除良性候选后仍在 55/175 个单元格中执行了唯一的仿冒实现，说明其安全表现依赖可选替代品是否存在。
推荐理由论文用 7,549 次受控试验说明，正确输出掩盖了带隐藏副作用的执行路径，失败集中在排名第一和过早停止，可为 Agent 选源评测设计提供参照。
阅读原文