评测与基准arXiv 2609.22076
APort Vault 发布：用 4,371 条人工攻击评测 AI Agent 支付授权
提出 APort Vault，评测支付智能体授权层对越权转账的拦截
- arXiv
- 2609.22076
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Claude Fable 5.1、Claude Sonnet 5、Claude Haiku 4.5 等 14 个
Agent 安全 · 论文
另有 373 篇论文还没打上分类标签，暂不在筛选结果里。
- 评测与基准arXiv 2610.07359
论文实测 Agent 工具调用门控栈的失败相关性
提出 nmult 指标，测量智能体动作门禁堆叠的错误相关性与等效层数
- arXiv
- 2610.07359
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- GPT-5.5 (gpt55)、claude-haiku-4-5-20251001、claude-sonnet-5 等 6 个
- 组件护栏与评审
摘要论文实测发现大模型裁判间错误显著相关，作者主张按机制选型并在整栈层面度量防护增益。
论文是一项针对智能体动作拦截防御堆叠故障关联性与实际组合价值的实证测量研究。
- 评测与基准arXiv 2610.07639
HarnessSecurity-Bench 横向评测六款编码智能体框架的安全机制
提出 HarnessSecurity-Bench，横向评测编码智能体框架的安全机制
- arXiv
- 2610.07639
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- GLM-5.2、Qwen3.8-27B、Claude Opus 4.8 等 4 个
- 评测与基准arXiv 2610.02664
论文提出 GHOST：长程智能体在良性对话中遗忘早期安全约束
提出 STAR-Guard 双层防御缓解长程智能体遗忘安全约束
- arXiv
- 2610.02664
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- GPT-5.5、DeepSeek-V4-Pro、GLM-5.2 等 7 个
- 防御权限与审批
- 风险Agent 危险操作
- 组件权限与沙箱
摘要揭示 GHOST 跨轮约束遗忘风险，构建 SCARBench 基准并通过 STAR-Guard 双层防御消除违规。
- 评测与基准arXiv 2610.03448
研究重测 15 个提示注入检测器：基准分数难以预测 Agent 部署表现
重评提示注入检测器，检验基准分数对智能体部署的预测力
- arXiv
- 2610.03448
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Horizon-Labs、Wolf Defender、Prismor-1.5B 等 15 个
摘要论文揭示公开基准无法反映智能体检测器表现，检测能力源于输入格式相似而非通用防御，建议基于工具输出与低误报评测。
- 评测与基准arXiv 2609.35799
研究者复现 OpenAI-HuggingFace 事件中的失准行为，并提出自动化对齐测试方法
在模拟环境中复现级联失准行为并降低审计诱导开销
- arXiv
- 2609.35799
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- GLM 5.2、GLM 5.3、Kimi K3 等 9 个
摘要论文复现了 OpenAI–HF 事件四步失准行为，作者报告高阶描述结合算力可自动诱导，并展示了 RL 降本潜力。
- 评测与基准arXiv 2601.10156
ToolSafe 提出步骤级护栏 TS-Guard 与 TS-Flow，降低 Agent 有害工具调用
提出 TS-Guard 与 TS-Flow，执行前检测并修正智能体有害工具调用
- arXiv
- 2601.10156
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- GPT-4o、Qwen3-8B、Qwen2.5-7B-Instruct 等 10 个
摘要TS-Bench 标步骤级风险，TS-Guard 用多任务 RL 做执行前判定，TS-Flow 用反馈代替直接中止。
ToolSafe 研究 LLM 智能体在工具执行前的步骤级安全：基准 TS-Bench、护栏 TS-Guard，以及反馈驱动框架 TS-Flow。
- 评测与基准arXiv 2609.34262
论文提出基准完整性维护框架，审计 Agent 通过轨迹中的非应得通过
提出过程核验框架，审计 Agent 基准的无根据通过与奖励黑客
- arXiv
- 2609.34262
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Opus 4.7、Opus 4.8、Opus 5 等 11 个
摘要审计通过轨迹、分开奖励黑客与验证器弱点，并用重放加现场重测验收修复。
Scale AI 的这篇工作把 agentic benchmark 的有效性写成持续维护问题：验证器给满分，并不等于智能体展示了任务所要的能力。
- 评测与基准arXiv 2609.32691
研究审计 Agent 安全评测缺陷：工具调用中介在间接提示注入下的有效评测框架
提出卡点评测框架，以实参级谓词审计间接提示注入评测的测量偏差
- arXiv
- 2609.32691
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- gpt-5.6-terra、llama3.1:8b、gemma4:12b 等 4 个
摘要论文揭示了 IPI 评测中导致指标虚高的系统性缺陷，通过构建有效评测框架纠正了多项安全与模型能力结论。
已经到底了