评测与基准arXiv 2610.06454
AgentPrivArena：面向 LLM Agent 工作流的隐私风险评测框架
提出 AgentPrivArena 与运行时审计，评测 Agent 轨迹级隐私泄露
- arXiv
- 2610.06454
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- GPT-5.4、DeepSeek-V4-Pro、Kimi-K2.6 等 6 个
- 防御监控与审计
- 风险Agent 危险操作
- 组件监控器
- 评测与基准arXiv 2610.06406
AgentMonBench：面向长时程智能体行为监控的软件工程基准
提出 AgentMonBench 评测长时程编程智能体监控并检验 EBG
- arXiv
- 2610.06406
- 发表
- 层
- 应用层
- 被测模型
- GPT-5.6 Luna、GPT-5.6 Terra、GPT-5.6 Sol 等 8 个
- 防御监控与审计
- 风险Agent 危险操作
- 组件监控器
摘要AgentMonBench 评测后果性决策监控，EBG 组织证据。
长时程软件工程任务里，用户要判断智能体哪些选择值得核验。作者用 AgentMonBench 评测监控器，并用免训练的 EBG 组织带源证据。
- 评测与基准arXiv 2609.35922
VoxParity 评测：语音智能体在需要听声判断时仍按文字行事
提出 VoxParity，固定转写只改音频，评测语音智能体是否按行业规则改工具调用
- arXiv
- 2609.35922
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- MiMo-V2.6-Pro、gemini-3.7-flash、Qwen3.8-Omni 等 15 个
- 风险Agent 危险操作
- 组件音频
摘要VoxParity 用固定转写的音频对比和 words-only null，测量语音智能体是否按所听内容改变工具调用。
VoxParity 测量语音智能体在词语不变、只有声音改变时，是否按行业规则改它所执行的工具调用。
- 评测与基准arXiv 2609.22724
MATE：面向移动 Agent 的策略感知安全审计方法
提出移动 Agent 轨迹审计器 MATE，判断轨迹是否违反可编辑安全策略
- arXiv
- 2609.22724
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 攻击者
- 黑盒
- 被测模型
- MATE-0.5B、MATE-1.5B、MATE-3B
- 防御监控与审计
- 攻击恶意使用
- 风险Agent 危险操作
- 组件监控器
摘要MATE 用合成轨迹微调轻量审计器，在可编辑策略下判断移动智能体轨迹是否违规并给出解释。
MATE 是面向移动 GUI 智能体的轻量策略条件轨迹审计器，在给定自然语言安全策略时判断轨迹是否违规并解释原因。
- 评测与基准arXiv 2609.19705
SoK 论文提出 FARSIGHT 框架，评测 15 个学术金融 LLM 交易 Agent 的鲁棒性与安全失败
用 FARSIGHT 方案级评测金融 LLM 交易 Agent 的稳健性与安全失败
- arXiv
- 2609.19705
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- ChatGPT Deep Research
- 攻击提示注入
- 风险Agent 危险操作
- 组件记忆
- 评测与基准arXiv 2609.08258
研究实测五套 Agent 记忆系统均不执行撤销标记
评测 Agent 记忆系统的软撤回执行情况，并提出陈旧检索防护
- arXiv
- 2609.08258
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- GPT-5.5、Grok-4、DeepSeek-V4-Flash 等 9 个
- 防御检测与过滤
- 风险Agent 危险操作
- 组件记忆
摘要系统揭示了记忆系统软撤回在检索时普遍未执行的安全漏洞，证明写回会击穿现有防御，并提出读取端防护作为必要控制手段。
- 评测与基准arXiv 2608.09476
ActBench：面向协作智能体行为安全的自演化基准
构建自演化基准 ActBench，评测协作智能体的行为安全
- arXiv
- 2608.09476
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Claude-Opus-4.8、Claude-Sonnet-4.6、GPT-5.5 等 15 个
摘要ActBench 通过自演化搜索与双证据重构评测轨迹行为安全，揭示基础模型决策差异主导了协同智能体的操作风险。
已经到底了