研究重测 15 个提示注入检测器：基准分数难以预测 Agent 部署表现

日本北陆先端科学技术大学院大学（JAIST）研究者 Zhuowen Liu 在论文中重测了 15 个提示注入检测器和 2 个任务感知 LLM 判官，发现公开基准上的检测排名很难迁移到 Agent 实际场景。研究用无 LLM 回放 AgentDojo 与 τ-bench 的真实工具调用构造良性输出，再用差分回放标注注入输出，并在 BIPIA 上对比。BIPIA 上表现最好的 PIGuard 在 1% 假阳性率下只检出 2.1% 的 AgentDojo 注入，而检出 72.2% AgentDojo 注入的 Prismor 在 τ-bench 上只有 15.2%；BIPIA 与 AgentDojo 之间的 Kendall τ 仅 0.01。相反，工具输出上的假阳性率在两个 Agent 基准间保持一致（τ=0.67），范围从 0% 到超过 90%。

推荐理由论文用 AgentDojo 与 τ-bench 的真实工具输出重测 15 个注入检测器，指出公开基准分数难以预测部署表现。

AgentAudit：面向 AI Agent 全生命周期信任评估的开源框架

研究者提出 AgentAudit，一个可附加在任意 LLM Agent 上、只读取执行轨迹而不干预其运行的开源评估框架，覆盖规划、工具选择、工具执行、记忆与推理的完整流程。该框架从指令完整性、规划器、记忆、工具选择、工具调用、工具正确性、对齐、工具忠实性、安全与执行完整性十个能力、接地、安全与行为维度评估整条执行轨迹，并结合行为分类与失败归因定位出错的阶段。所有轨迹由同一个固定裁判模型打分，而该模型本身也是被评测模型之一，作者在第七节 E 小节讨论了这一局限。论文还指出，任务完成表现相近的模型在可信度上可能差异很大，若干非前沿模型在对抗任务中反复被归类为 Unsafe_Compliance，而不只是任务失败，这是通过/失败式基准无法呈现的区别。