Inspect Robots：面向具身智能体评测的开源模块化框架
提出 Inspect Robots，在真实机器人上评测具身模型的能力与拒答
- arXiv
- 2610.06306
- Published
- Layer
- Application layer
- Evaluated models
- Astra（GPT-6 Astra）, GPT-6 Sol, GPT-5.6 Sol and others7
All papers
Filter5
Model risks
Impact
System type
Layer
System component
Select any value within a category; different categories must all match. Counts include the other filters you have selected.Another 248papers have no tags yet and are not included in filtered results.
Another 248papers do not have category tags yet and are not included in filtered results.
Paper finds multimodal models' refusal failure rate rises by up to 68.7% after tool use is enabled
评测 ReAct 工具调用对多模态模型拒答有害请求的削弱
- arXiv
- 2610.03938
- Published
- Layer
- Application layer
- Setting
- AI Agent
- Evaluated models
- Gemini-2.5-Pro, Gemini-3.1-Pro-Preview, Claude Opus 4.6 and others13
- RiskInappropriate refusal
- ComponentVision
Abstract论文揭示了工具调用范式削弱 MLLM 拒答能力的现象，分析了稀释与偏移机制并验证了重注缓解方案。
论文系统评估了智能体工具调用范式对多模态大语言模型拒答能力的影响，指出了工具增强视觉推理背后的安全隐患。核心探讨的问题在于：当 MLLM 从单次推理转向通过 ReAct 循环调用外部工具（打标、缩放、OCR、代码执行）时，工具使用机制本身是否会降低模型拒答有害请求的概率。
- Risky behaviorarXiv 2609.38971
研究测量并预测具身 VLM 规划器中任务的拒答可变性
测量并预测具身 VLM 规划器的任务拒答可变性
- arXiv
- 2609.38971
- Published
- Layer
- Model layer
- Evaluated models
- gemini-robotics-er-2-preview, gemini-robotics-er-1.6-preview
- RiskInappropriate refusal
- ComponentVision
Abstract日常物体能翻转一部分已给出的拒答，可翻转程度取决于任务且可被本地代理预测。
作者测量 constitution 守护的具身 VLM 规划器：一次拒答在只往场景里放一个日常物体之后还保不保持得住，并把这种易翻转程度称为任务的 malleability。
AgentBound：面向工具型 LLM Agent 安全的四路反事实评测框架
提出 AGENT BOUNDARY，用四向反事实任务评测工具智能体行动边界
- arXiv
- 2609.33658
- Published
- Layer
- Application layer
- Setting
- AI Agent
- Evaluated models
- GPT-5.5, Claude Opus 4.8, Gemini 3.5 Flash and others15
Abstract四向反事实基准把过度拒绝和未授权遵从拆开，Thought 校正在十个配置上提高已授权完成。
AGENT BOUNDARY 是面向工具使用 LLM 智能体的四向可执行反事实评测，并附带一个决策时 Thought 校准模块。
- Risky behaviorarXiv 2609.27900
论文揭示多智能体委派结构放大 LLM 安全风险
评测多智能体委托结构如何放大模型的安全拒答失效
- arXiv
- 2609.27900
- Published
- Layer
- Application layer
- Setting
- Multi-agent systems
- Evaluated models
- Claude-Sonnet-4.6, GPT-5, Gemini-3.1-Pro and others6
Abstract论文揭示多智能体层级委托会导致单模型安全对齐失效，多项前沿模型有害执行大幅增加且单层防御难以奏效。
BioSecBench-Refusal：面向智能体生物安全风险评估的配对基准
提出 BioSecBench-Refusal，评测智能体生物研发拒答与隐蔽危害识别
- arXiv
- 2607.05462
- Published
- Layer
- Application layer
- Setting
- science agent
- Evaluated models
- Opus 4.8, Opus 4.7, Opus 4.6 and others10
- RiskInappropriate refusal
- ComponentGuardrails and judges
Abstract配对基准显示拒绝多由 API 触发，合法任务常被拒得不少于隐蔽危害。
BioSecBench-Refusal 把生物研发智能体的谨慎程度和识别隐蔽危害的能力放在同一套任务上测量。
研究用消融移除代码 LLM 拒答方向，分离拒答与生成能力
用 abliteration 消融代码 LLM 拒答方向，分离拒答与漏洞注入能力
- arXiv
- 2606.05396
- Published
- Layer
- Model layer
- Setting
- coding agent
- Evaluated models
- Qwen2.5-Coder-Instruct 3B, Qwen2.5-Coder-Instruct 7B, Qwen2.5-Coder-Instruct 14B
Abstract拒答可用低秩编辑去掉，CWE-89 注入是否成功仍由模型规模决定。
这项初步可行性研究用 abliteration 把代码 LLM 的拒答和 CWE 注入能力拆开：意愿可以被低秩编辑解锁，注入是否成功仍看参数规模。
研究用 30 项漏洞分析任务评测自主安全智能体的安全对齐效果
评测自主安全智能体在授权漏洞分析中的对齐拒答效应
- arXiv
- 2605.19722
- Published
- Layer
- Application layer
- Setting
- coding agent
- Evaluated models
- Gemma 4 31B official instruction-tuned model, TrevorJS Gemma 4 31B uncensored GGUF, Gemma 4 26B A4B official instruction-tuned model and others8
Abstract轨迹级评测把拒答、接地、工具接口分开。
这项工作把安全对齐效应测成自主安全智能体的轨迹属性，而不是单轮拒答率。
LABSHIELD：面向科学实验室安全推理与规划的多模态基准
提出 LABSHIELD，评测科学实验室智能体的安全推理与规划
- arXiv
- 2603.11987
- Published
- Layer
- Application layer
- Evaluated models
- GPT-5.2, GPT-o3, GPT-o4-mini and others20
- RiskDangerous agent actions
- ComponentVision
You have reached the end