评测与基准arXiv 2610.11766
研究提出意图恢复率作为 LLM 安全评测的补充指标
提出 IRIS,用意图恢复率区分遮蔽越狱下无害输出的原因
- arXiv
- 2610.11766
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 被测模型
- GPT-4o、Claude Sonnet 4.5、Claude Opus 4.5 等6个
摘要无害输出的证据权重取决于任务是否被恢复。
IRIS 把意图恢复当作中间信号,用来解释意图遮蔽提示下为何没有出现有害协助。
提出 IRIS,用意图恢复率区分遮蔽越狱下无害输出的原因
IRIS 把意图恢复当作中间信号,用来解释意图遮蔽提示下为何没有出现有害协助。
ASRD 用四态标签检查五个开源模型如何处理非规范表面上的有害请求。
提出 DIVA,将有害意图拆成视觉锚点与运动文本以越狱视频生成模型
DIVA 是针对带参考图的视频生成模型的免训练 black-box 越狱:用一致性机制本身堵住语义漂移这条安全逃逸路径。。
评测多语言与编码混淆提示下模型生成钓鱼与键盘记录内容的遵从
提出 SpeechJBB,评测语码转换语音下音频语言模型的越狱稳健性
SpeechJBB 用合成语音测量 LALM 在五语、语码转换和局部伪词混淆下的安全对齐,并另设口语理解对照。
提出 StealthGraph,合成领域隐式有害提示并评测模型
提出 CSSBench 评测轻量模型对中文表面对抗改写的失守与过度拒绝
CSSBench 评测轻量 LLM 在中文特有表面改写下的安全,并同时测量过度拒绝。要处理的缺口是:英文向护栏和只测干净查询的中文基准,看不清同音、拼音、符号混写、零宽字符这些写法下的失守,也分不清较低风险来自细粒度判断还是粗粒度拒答。作者称轻量模型更需要这种评测。
提出 MOBjailbreak,将恶意优化算法请求改写为无害表达实施越狱