CESBench：评测大语言模型在物联网设备密码工程安全上的能力
CESBench: Benchmarking Large Language Models on Cryptographic Engineering Security for IoT Devices
AI 导读
研究者提出 CESBench 基准，用 380 道专家撰写的题目评测大语言模型在物联网设备密码工程安全上的能力，覆盖侧信道、故障注入、实现、防护对策、评估和集成六个子领域。题目分四类：209 道选择题测记忆，67 道判断题要求给出安全判定及理由，63 道情景题要求工程诊断，41 道代码题由 572 个测试用例评分。11 个开源权重与专有模型作答全部题目，综合得分介于 54.4% 到 83.6% 之间。各题型最高分为选择题 98.6%、代码 95.1%、情景诊断 88.4%，判断题仅 58.8%；跨模型看，88.5% 的安全判定结论正确，但论证只得评分细则 53.4% 的分数，为安全判定给出论证仍是最弱能力。基准、提示词和逐题结果已公开。