CGMIA：用成员推理攻击检测代码生成基准的数据泄漏
Keep Evaluation Fair: Detecting Data Leakage in Code Generation Benchmarks via Membership Inference Attacks
AI 导读
针对代码生成基准数据泄漏导致评测虚高的问题，研究者提出 CGMIA（Code-Generation-specific Membership Inference Attack），通过在基准样本子集上微调影子模型构建成员与非成员标注数据，并融合 CodeBLEU、编辑距离、测试通过率、困惑度等专家特征与 CodeBERT 嵌入语义特征进行集成学习，判断样本是否进入目标模型训练集。在八个代码生成基准上，CGMIA 多数情况下优于八种现有成员推理方法，并有效检出 StarCoder-7B 训练数据中已知泄漏的 APPS 样本。