事件历史事件
LEST框架用系统卡声明驱动LLM安全测试
先了解这件事
AI 综述
俄勒冈州立大学研究者提出LEST框架，把模型文档中的安全声明当作可执行的黑盒测试规范，对Claude Opus 4.8和GPT-5.5做变异测试，检查哪些声明真被安全基准提示词覆盖。研究从两份System Card提取56条安全声明，其中29条（51.8%）可被提示词测试，这29条里只有17条（58.6%）被至少一条SORRY-Bench种子提示词覆盖，两个模型对未改动种子提示词的拒答率均超过95%。
AI 根据报道生成 · 29 天前更新
最新进展
基于规范的大语言模型测试走势与进展
每小时关注度
现在 39，24 小时 0%·峰值 39（11月6日 03:00）
11月7日11月8日11月9日现在 39
相关研究
这件事的论文
- 基于规范的大语言模型测试
arXiv · 2026-10-10 · 深度解读
后续时间线
10月10日
- arXiv：危险能力与安全评测精选基于规范的大语言模型测试
俄勒冈州立大学研究者提出 LEST 框架，把模型文档中的安全声明当作可执行的黑盒测试规范，对 Claude Opus 4.8 和 GPT-5.5 做变异测试，检查哪些声明真被安全基准提示词覆盖。研究从两份 System Card 提取 56 条安全声明，其中 29 条（51.8%）可被提示词测试，这 29 条里只有 17 条（58.6%）被至少一条 SORRY-Bench 种子提示词覆盖，两个模型对未改动种子提示词的拒答率均超过 95%。在 1836 条变异提示词上，三种自动分类器标出 312 例拒答转向配合的候选转移，人工复核后仅 19 例（6.1%）同时保持原有有害意图并构成真实配合，为 9 条适用拒答判断且被覆盖的声明中的 6 条提供了反例。作者称，基准的类别覆盖无法等同于对文档声明的覆盖，自动评测会高估行为失效。