评测与基准arXiv 2610.05818
研究显示 VLA 模型文本护栏漏检隐含危害指令
评测文本守卫与激活探针能否拦住机器人隐含伤害指令
- arXiv
- 2610.05818
- 发表
- 层
- 提示层
- 场景
- 具身与机器人
- 被测模型
- π0.5、OpenVLA-OFT、Llama Guard 3 等 10 个
- 风险Agent 危险操作
- 组件护栏与评审
- 评测与基准arXiv 2609.38106
剪枝提效却牺牲公平：剪枝语音 LLM 中的群体差异
测量剪枝对语音 LLM 群体转写公平性的影响
- arXiv
- 2609.38106
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Whisper Small (12 layers)、Whisper Medium (24 layers)、Whisper Large-v2 (32 layers)
摘要剪枝后的 Speech-LLM 不能只看总体 WER：Fair-Speech 上族群差扩大，作者建议看最差组。
- 评测与基准arXiv 2609.35922
VoxParity 评测：语音智能体在需要听声判断时仍按文字行事
提出 VoxParity，固定转写只改音频，评测语音智能体是否按行业规则改工具调用
- arXiv
- 2609.35922
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- MiMo-V2.6-Pro、gemini-3.7-flash、Qwen3.8-Omni 等 15 个
- 风险Agent 危险操作
- 组件音频
摘要VoxParity 用固定转写的音频对比和 words-only null，测量语音智能体是否按所听内容改变工具调用。
VoxParity 测量语音智能体在词语不变、只有声音改变时，是否按行业规则改它所执行的工具调用。
- 评测与基准arXiv 2609.22724
MATE：面向移动 Agent 的策略感知安全审计方法
提出移动 Agent 轨迹审计器 MATE，判断轨迹是否违反可编辑安全策略
- arXiv
- 2609.22724
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 攻击者
- 黑盒
- 被测模型
- MATE-0.5B、MATE-1.5B、MATE-3B
- 防御监控与审计
- 攻击恶意使用
- 风险Agent 危险操作
- 组件监控器
摘要MATE 用合成轨迹微调轻量审计器，在可编辑策略下判断移动智能体轨迹是否违规并给出解释。
MATE 是面向移动 GUI 智能体的轻量策略条件轨迹审计器，在给定自然语言安全策略时判断轨迹是否违规并解释原因。
- 评测与基准arXiv 2609.09404
MMPIBench：多模态提示注入对六种 Agent 框架的跨框架评测
用 MMPIBench 评测多模态提示注入对 Agent 框架的影响
- arXiv
- 2609.09404
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Claude Opus 4.8、GPT-5.4、Gemini 3.1 Pro 等 6 个
摘要论文提出 MMPIBench 评测多模态提示注入对智能体的影响，发现模型主导行为、尝试远超完成，音频通道缺乏防护。
- 评测与基准arXiv 2606.22673
Agent MechSuits：面向多轮 CLI Agent 的机制子空间安全引导
提出 Agent MechSuits，对多轮 CLI Agent 做步级检测与子空间转向
- arXiv
- 2606.22673
- 发表
- 层
- 应用层
- 被测模型
- LLaMA-3.1-8B、Qwen-2.5-7B、Gemma-2-9B
摘要白盒步级探针加稀疏转向可压低三模型恶意动作，同时提高生成崩溃率。
Agent MechSuits 是面向多轮 CLI 智能体的白盒、步级表示防御，并配有可执行轨迹基准 MAS。
- 评测与基准arXiv 2605.30322
Gram：面向破坏倾向的自动化对齐审计框架
提出 Gram 审计框架，测量编程与研究智能体的破坏倾向
- arXiv
- 2605.30322
- 发表
- 层
- 应用层
- 被测模型
- Gemini 2.5 Pro、Gemini 3.0 Pro Preview、Gemini 3.1 Pro Preview
已经到底了