Skip to content

Translation in progress Some entries still include text in the original language.

Oct 12 · Monday

All papers

Found 22 papers
Filter1

Attack type

Jailbreaks3

Model risks

Deception and scheming21Reward hacking13Misalignment and value divergence12Dangerous agent actions45Dangerous capabilities23Inappropriate refusal22Hallucination and fabrication23Bias and discrimination7

Impact

Harmful content13Availability and reliability6

System type

Models and APIs16AI Agent6

Attack surface / entry point

User input3

Layer

Prompt layer3Model layer13Application layer6

System component

Vision4Multimodal5
Select any value within a category; different categories must all match. Counts include the other filters you have selected.Another 305papers have no tags yet and are not included in filtered results.
Model risks：Inappropriate refusalClear all

Another 305papers do not have category tags yet and are not included in filtered results.

  2. Evaluation and benchmarksarXiv 2610.03938

    论文发现多模态模型启用工具后拒答失败率最高上升 68.7%

    评测 ReAct 工具调用对多模态模型拒答有害请求的削弱

    arXiv
    2610.03938
    Published
    Layer
    Application layer
    Setting
    AI Agent
    Evaluated models
    Gemini-2.5-Pro, Gemini-3.1-Pro-Preview, Claude Opus 4.6 and others13
    Abstract论文揭示了工具调用范式削弱 MLLM 拒答能力的现象，分析了稀释与偏移机制并验证了重注缓解方案。

    论文系统评估了智能体工具调用范式对多模态大语言模型拒答能力的影响，指出了工具增强视觉推理背后的安全隐患。核心探讨的问题在于：当 MLLM 从单次推理转向通过 ReAct 循环调用外部工具（打标、缩放、OCR、代码执行）时，工具使用机制本身是否会降低模型拒答有害请求的概率。

    Paper analysisRead analysis
  4. Evaluation and benchmarksarXiv 2609.35902

    QH-Bench：面向中国青少年内容安全的细粒度中文基准

    构建中文青少年内容安全基准 QH-Bench，评测单轮与多轮回复的安全与有用性

    arXiv
    2609.35902
    Published
    Layer
    Model layer
    Setting
    Models and APIs
    Evaluated models
    InternLM2.5-20B, InternLM2.5-7B, InternLM2.5-1.8B and others13
    AbstractQH-Bench 分单轮与多轮评测中文青少年内容安全，总均分高仍不消除线下接触和关系压力上的负分。

    QH-BENCH 是面向中国社会文化情境的中文青少年内容安全基准，用单轮细粒度风险和多轮跨轮机制两条轨道，评测模型回复是否既守住安全边界又提供适合年龄的帮助。

    Paper analysisRead analysis
  5. Evaluation and benchmarksarXiv 2609.33658

    AgentBound：面向工具型 LLM Agent 安全的四路反事实评测框架

    提出 AGENT BOUNDARY，用四向反事实任务评测工具智能体行动边界

    arXiv
    2609.33658
    Published
    Layer
    Application layer
    Setting
    AI Agent
    Evaluated models
    GPT-5.5, Claude Opus 4.8, Gemini 3.5 Flash and others15
    Abstract四向反事实基准把过度拒绝和未授权遵从拆开，Thought 校正在十个配置上提高已授权完成。

    AGENT BOUNDARY 是面向工具使用 LLM 智能体的四向可执行反事实评测，并附带一个决策时 Thought 校准模块。

    Paper analysisRead analysis
  6. Evaluation and benchmarksarXiv 2609.32547

    研究者提出预算受限的 LLM 重复评测框架，优先深挖隐藏失败

    提出预算化发现框架，优先深评更可能隐藏失败的安全提示词

    arXiv
    2609.32547
    Published
    Layer
    Model layer
    Setting
    Models and APIs
    Evaluated models
    Qwen 2.5 7B, Qwen/Qwen2.5-7B-Instruct-Turbo, Gemma 3n E4B and others4
    Abstract浅层零失败的提示词仍可按潜在失败倾向排序，从而把有限深评预算投向更可能暴露隐藏失败之处。

    作者把 LLM 可靠性评测写成预算约束下的隐藏失败发现：每条提示词有未知的逐次失败概率，浅层少量采样中的零失败并不等于该概率为零。

    Paper analysisRead analysis
  8. Evaluation and benchmarksarXiv 2609.06991

    AV-SafetyBench：面向文本到音视频生成的安全基准

    提出 AV-SafetyBench 评测文生音视频模型的不安全生成

    arXiv
    2609.06991
    Published
    Layer
    Model layer
    Setting
    Models and APIs
    Evaluated models
    LTX-2.3, Ovi-1.1, JavisDiT++ and others7
    AbstractAV-SafetyBench 用三视角评五个 T2AV 模型，显示只看视频会漏掉音频与联合风险。

    AV-SafetyBench 是面向文本生成音视频（T2AV）的安全基准：一条提示词同时规定画面和音频，评测同时看两轨以及它们的交互。作者要测的是，不安全含义不只出现在画面上：它可以主要由语音或声音承载，也可以只有两轨合起来才成立。T2VSafetyBench 不评音频，TTA-Bench 不评与画面的交互，作者认为二者都盖不住这些路径。

    Paper analysisRead analysis
  9. Evaluation and benchmarksarXiv 2609.05797

    论文发现安全监控器主要拦截模型本就会拒答的请求

    评估安全监视器并提出双侧梯级微调以减少会答有害请求的漏检

    arXiv
    2609.05797
    Published
    Layer
    Prompt layer
    Setting
    Models and APIs
    Evaluated models
    Gemma-4-31B-IT, Qwen3-32B, Llama Guard 3 8B and others6

    Abstract论文发现安全监视器大多拦截模型已拒答请求，指出明确度偏差是共性原因，并通过双侧梯级微调提升回答请求的召回表现。

    Paper analysisRead analysis
  11. Evaluation and benchmarksarXiv 2609.04720

    知道什么不该回答：视觉语言模型的选择性不遵从

    提出 KoNA 基准，评测视觉语言模型的选择性不遵从

    arXiv
    2609.04720
    Published
    Layer
    Model layer
    Setting
    Models and APIs
    Evaluated models
    InternVL3-2B-Instruct, InternVL3-78B-Instruct, Qwen2.5-VL-3B-Instruct and others8
    AbstractKoNA 用五类成对查询评选择性不遵从。

    KoNA 用来评测视觉语言模型能否对混合查询做选择性不遵从：只处理不该遵从的成分，同时回答其余成分。

    Paper analysisRead analysis
  12. Evaluation and benchmarksarXiv 2608.20554

    aiXamine：跨维度评测 LLM 安全、安全（security）与隐私权衡

    提出 aiXamine 黑盒基准，统一评测 LLM 安全、稳健与隐私权衡

    arXiv
    2608.20554
    Published
    Layer
    Model layer
    Setting
    Models and APIs
    Evaluated models
    openai/gpt-5-mini, openai/gpt-4o, anthropic/claude-haiku-4.5 and others15
    AbstractaiXamine 用九服务黑盒协议比较百余个模型，作者称单轴信任度进展可能削弱其他轴。

    aiXamine 是一套黑盒评测协议，用来在同一条件下比较 LLM 的 safety、security 与 privacy，而不是再产出一个能力分。

    Paper analysisRead analysis
  13. Evaluation and benchmarksarXiv 2608.11816

    研究审计 9 个视觉语言模型：中文提示下国家立场改写率约为英文的三倍

    审计视觉语言模型在敏感图像上从拒答转向国家立场重构的行为

    arXiv
    2608.11816
    Published
    Layer
    Model layer
    Setting
    Models and APIs
    Evaluated models
    Qwen2-VL-7B, Qwen2.5-VL-7B, Qwen3-VL-8B and others9
    Abstract论文系统审计了 VLM 多模态审查，发现审查正从显式拒答转向隐蔽重构，且中文提示与文本先验会放大重构倾向。

    论文系统研究了中外开源视觉语言模型在政治敏感图像上的审查行为，主要内容如下。

    Paper analysisRead analysis
  15. Evaluation and benchmarksarXiv 2607.05462

    BioSecBench-Refusal：面向智能体生物安全风险评估的配对基准

    提出 BioSecBench-Refusal，评测智能体生物研发拒答与隐蔽危害识别

    arXiv
    2607.05462
    Published
    Layer
    Application layer
    Setting
    science agent
    Evaluated models
    Opus 4.8, Opus 4.7, Opus 4.6 and others10
    Abstract配对基准显示拒绝多由 API 触发，合法任务常被拒得不少于隐蔽危害。

    BioSecBench-Refusal 把生物研发智能体的谨慎程度和识别隐蔽危害的能力放在同一套任务上测量。

    Paper analysisRead analysis
  17. Evaluation and benchmarksarXiv 2605.19722

    研究用 30 项漏洞分析任务评测自主安全智能体的安全对齐效果

    评测自主安全智能体在授权漏洞分析中的对齐拒答效应

    arXiv
    2605.19722
    Published
    Layer
    Application layer
    Setting
    coding agent
    Evaluated models
    Gemma 4 31B official instruction-tuned model, TrevorJS Gemma 4 31B uncensored GGUF, Gemma 4 26B A4B official instruction-tuned model and others8
    Abstract轨迹级评测把拒答、接地、工具接口分开。

    这项工作把安全对齐效应测成自主安全智能体的轨迹属性，而不是单轮拒答率。

    Paper analysisRead analysis
  20. Evaluation and benchmarksarXiv 2603.11914

    理解 LLM 在无害任务中遇到用户提供的有害内容时的行为

    评测 LLM 在无害任务中遇到用户有害内容时是否拒绝处理

    arXiv
    2603.11914
    Published
    Layer
    Model layer
    Setting
    Models and APIs
    Evaluated models
    gemma-7b-it, vicuna-7b-v1.5, llama2-7b-chat and others16
    Abstract作者报告多个前沿 LLM 会在无害任务中继续处理有害输入，并称外部防护在包装输入下可被绕过。

    作者评估已做安全对齐的 LLM，在合规任务中遇到用户提供的有害材料时，会不会继续生成有害回复，并把这种行为称为 in-content harm risk。它不同于直接索要违规内容的任务级拒绝。

    Paper analysisRead analysis
Load more