Inspect Robots：面向具身智能体评测的开源模块化框架
提出 Inspect Robots，在真实机器人上评测具身模型的能力与拒答
- arXiv
- 2610.06306
- Published
- Layer
- Application layer
- Evaluated models
- Astra（GPT-6 Astra）, GPT-6 Sol, GPT-5.6 Sol and others7
All papers
Filter3
Attack type
Impact
System type
Attack surface / entry point
Layer
System component
Select any value within a category; different categories must all match. Counts include the other filters you have selected.Another 233papers have no tags yet and are not included in filtered results.
Another 233papers do not have category tags yet and are not included in filtered results.
研究者提出统一滥用监控基准，覆盖分解攻击与提示注入约 6200 条轨迹
提出危害窗口与区间指标，统一评测分解攻击和提示注入下的智能体滥用监视
- arXiv
- 2610.07089
- Published
- Layer
- Application layer
- Setting
- AI Agent
- Evaluated models
- Gemma 4 26B-A4B, Qwen3.6 27B, Qwen3.5 27B and others12
- DefensesMonitoring and auditing
- AttacksJailbreaks
- ComponentMonitors
Abstract统一智能体滥用监视框架，动作视角兼顾两类威胁但危害定位仍存瓶颈。
Paper finds multimodal models' refusal failure rate rises by up to 68.7% after tool use is enabled
评测 ReAct 工具调用对多模态模型拒答有害请求的削弱
- arXiv
- 2610.03938
- Published
- Layer
- Application layer
- Setting
- AI Agent
- Evaluated models
- Gemini-2.5-Pro, Gemini-3.1-Pro-Preview, Claude Opus 4.6 and others13
- RiskInappropriate refusal
- ComponentVision
Abstract论文揭示了工具调用范式削弱 MLLM 拒答能力的现象，分析了稀释与偏移机制并验证了重注缓解方案。
论文系统评估了智能体工具调用范式对多模态大语言模型拒答能力的影响，指出了工具增强视觉推理背后的安全隐患。核心探讨的问题在于：当 MLLM 从单次推理转向通过 ReAct 循环调用外部工具（打标、缩放、OCR、代码执行）时，工具使用机制本身是否会降低模型拒答有害请求的概率。
Persona Guardrail：面向智能体系统的生产级防御框架
提出 Persona Guardrail，强制客服智能体守住功能边界
- arXiv
- 2610.03434
- Published
- Layer
- Application layer
- Setting
- AI Agent
- Attacker
- Black-box
- Evaluated models
- Qwen3-30B-A3B, Qwen3-VL-30B, Qwen3-8B and others5
- DefensesDetection and filtering
- AttacksJailbreaks
- ComponentGuardrails and judges
AbstractPersona Guardrail 用功能边界做同步输入输出校验，并在 PAGE 与生产延迟预算下给出评测。
Persona Guardrail 是客服向智能体的同步运行时防御：先写明功能边界，再决定放行或拦截，而不是只检测某一攻击类。
CART：面向大语言模型的闭环自适应红队框架
提出闭环自适应红队框架 CART，评测模型与 Agent 的安全失败
- arXiv
- 2609.27336
- Published
- Layer
- Application layer
- Setting
- AI Agent
- Evaluated models
- Claude Opus 4.8, GPT-5.5, Grok 4.3 and others7
- AttacksPrompt injection
AbstractCART 把红队做成可审计的闭环搜索，在三类评测上比静态回放发现更多失败与更高平均风险。
CART 把自动红队从一次清单式打分，改成带预算、可追溯的闭环搜索。
CS-Guard：首个面向代码生成安全的 LLM 护栏评测基准
提出 CS-Guard 基准，评测代码生成护栏对虚构场景攻击的防御
- arXiv
- 2609.09798
- Published
- Layer
- Prompt layer
- Setting
- coding agent
- Attacker
- Black-box
- Evaluated models
- CodeLlama-13B-Instruct, DeepSeekCoder-V2-Lite-16B, GPT-OSS-20B and others7
- AttacksJailbreaks
- ComponentGuardrails and judges
Abstract论文提出了代码安全护栏基准 CS-Guard，评估发现现有护栏对虚构场景攻击和代码级恶意请求防御较弱。
SciHazard：面向科研安全的危险能力评测基准与分解式危害评分
构建 SciHazard 基准，评测科研智能体与 LLM 的科学危险能力
- arXiv
- 2607.18665
- Published
- Layer
- Application layer
- Setting
- science agent
- Evaluated models
- WebThinker + DeepSeek-R1, InternAgent, Gemini Deep Research and others19
AbstractSciHazard 用分解评分测科学滥用风险，作者称智能体抬高了可执行危害。
SciHazard 是一个科学滥用风险基准，配一个把危害拆开再合成的自动分数。
安全代码生成有多安全？对抗提示考验 LLM 防御
用对抗提示审计安全代码生成方法在自然语言改写后的安全与功能
- arXiv
- 2601.07084
- Published
- Layer
- Prompt layer
- Setting
- coding agent
- Evaluated models
- Salesforce/codegen-350M-multi, codegen-2B-multi, codegen-6B-multi and others5
- AttacksJailbreaks
论文提出多轮在线骚扰 Agent 基准
提出多轮在线骚扰 Agent 基准，评测记忆、规划与微调越狱
- arXiv
- 2510.14207
- Published
- Layer
- Application layer
- Setting
- Multi-agent systems
- Evaluated models
- LLaMA-3.1-8B-Instruct, Qwen3-30B-A3B-Instruct, DeepSeekMoE-16B and others4
- AttacksJailbreaks
- ComponentFine-tuning and open weights
JAWS-Bench：研究者用三种工作区场景系统越狱代码 Agent
提出 JAWS-Bench，评测代码 Agent 在三级工作区中的越狱与恶意代码可执行性
- arXiv
- 2510.01359
- Published
- Layer
- Application layer
- Setting
- coding agent
- Evaluated models
- GPT-4.1, GPT-o1, DeepSeek-R1 and others8
- AttacksJailbreaks
Abstract论文提出了评估代码智能体端到端恶意代码越狱的 JAWS-Bench，发现多文件与智能体推理会明显放大可部署危害。
SafeScientist：让 LLM 智能体的科学发现具备风险意识
提出 SafeScientist 四层监控，阻止科研智能体执行高风险或不伦理任务
- arXiv
- 2505.23559
- Published
- Layer
- Application layer
- Setting
- science agent, Multi-agent systems
- Evaluated models
- GPT-4o, GPT-4.1, GPT-3.5-turbo and others5
- DefensesMonitoring and auditing
- AttacksJailbreaks
- ComponentMonitors
Abstract四层监控加科研安全基准。
SafeScientist 是带四层监控的科研智能体框架，并用 SciSafetyBench 评测科学场景中的任务安全。
SafeArena：首个评估自主网页 Agent 滥用风险的基准
提出 SafeArena 基准，评测网页 Agent 是否执行故意有害任务
- arXiv
- 2503.04957
- Published
- Layer
- Application layer
- Setting
- web agent
- Evaluated models
- GPT-4o, Claude-3.5-Sonnet, Qwen-2-VL-72B and others5
- AttacksMalicious use
AbstractSafeArena 用配对任务和 ARIA 评测网页智能体的故意滥用。
SafeArena 评测自主网页智能体是否会执行用户故意给出的恶意网页任务。。
用智能体控制化学科学中的 AI 风险：SciGuard 护栏与 SciMT 基准
提出 SciGuard 外部护栏与 SciMT 基准，控制化学科学 AI 误用
- arXiv
- 2312.06632
- Published
- Layer
- Application layer
- Setting
- science agent
- Evaluated models
- SciGuard (GPT-4), SciGuard (Gemini), SciGuard (Mixtral) and others5
- DefensesInstruction–data separation
- AttacksMalicious use
- ComponentGuardrails and judges
AbstractSciGuard 以外部智能体控制化学 AI 误用。
这篇工作把化学科学 AI 的误用控制做成外部智能体，而不是改模型权重。作者担心合成规划、毒性预测和科学语言模型被用来获取有害物质信息、规避监管或传播危险知识，同时合法工业用途又不能靠一律拒绝来处理。SciGuard 由 LLM 担任中介，把原则和指南放进短期记忆，把分子库、危害库、法规和交互历史放进可检索的长期记忆，再按 Chain of Thought 调用 Chemprop、LocalRetro 等工具，或用 RAG 补法规片段，最后回答、追问或拒绝。
You have reached the end