MPIB：面向 LLM 医疗提示注入攻击与临床安全的基准
MPIB: A Benchmark for Medical Prompt Injection Attacks and Clinical Safety in LLMs
AI 导读
研究者提出医疗提示注入基准 MPIB，用于评估 LLM 与 RAG 系统在直接提示注入和 RAG 间接注入下的临床安全性。该基准以临床危害事件率 CHER 衡量高危临床危害事件，并同时报告 ASR2，以区分中危及以上与高危结果。MPIB 包含 9,697 条经多阶段质量筛选和临床安全 lint 的实例。在多种基线 LLM 和防御配置上的评测显示，ASR2 与 CHER3 可能显著背离，且攻击率会随对抗指令出现在用户查询还是检索上下文中而变化。数据集与评测代码分别发布在 Hugging Face 和 GitHub。