事件历史事件
DiagSafe：提示级评分细则诊断LLM安全
先了解这件事
AI 综述
2026年10月，研究者提出 DiagSafe 诊断评测框架，用基于全球适用 AI 安全政策的提示词级评分细则取代二元安全/不安全标签，从安全与有用性两个维度给出明确标准。配套中英双语基准基于 84 类安全分类体系，含覆盖单轮、多轮直接有害查询及模板化越狱的 DiagBase，以及将有害意图嵌入复杂指令遵循任务的 DiagAttack。
AI 根据报道生成 · 22 天前更新
走势与进展
每小时关注度
现在 33，24 小时 0%·峰值 33（11月6日 03:00）
11月7日11月8日11月9日11月10日11月11日11月12日11月13日现在 33
相关研究
这件事的论文
- 超越二元标签：基于提示词级评分细则的 LLM 安全诊断评估
arXiv · 2026-10-21 · 深度解读
后续时间线
10月26日
- 小红书小红书 AI安全之心· 讨论基于提示词级评分准则的LLM安全诊断评估（新标签页打开原帖）
10月21日
- arXiv：对齐、欺骗与监督超越二元标签：基于提示词级评分细则的 LLM 安全诊断评估
研究者提出 DiagSafe 诊断评测框架，用提示词级评分细则取代二元安全/不安全标签来评估 LLM 安全，细则基于全球适用的 AI 安全政策，从安全（针对具体危害并设豁免以抑制误报）和有用性（独立评估指令完成度）两个维度给出明确标准。配套基准为中英双语，基于 84 类安全分类体系，含两个子集，DiagBase 覆盖单轮与多轮直接有害查询及模板化越狱，DiagAttack 将有害意图嵌入复杂指令遵循任务形成指令攻击。实验显示，该框架使 LLM-as-a-judge 与人工标注的一致率达 95.34%，高于基线方法的 69%-87%，评判者间 Cohen's κ 为 0.864。应用该框架还发现，主流 LLM 的不安全率差异明显，各模型在不同维度存在独特弱点，且在中文和多轮场景下尤其易受影响。
相关讨论
共1条
- 72 小时以前 · 不计入 72 小时的数字
- 小红书小红书 AI安全之心基于提示词级评分准则的LLM安全诊断评估（新标签页打开原帖）