ContextLeak：审计私有上下文学习方法的隐私泄露
ContextLeak: Auditing Leakage in Private In-Context Learning Methods
AI 导读
研究者提出 ContextLeak，一个用于实证测量上下文学习（ICL）中最坏情况信息泄露的框架。该方法通过金丝雀插入，在敏感数据集中嵌入唯一可识别的 token，并构造针对性查询来检测其是否出现。作者将其应用于多种私有 ICL 技术，包括启发式提示词防御和具有形式化保证的差分隐私方法，结果显示 ContextLeak 能可靠检测各方法的泄露，且泄露随理论隐私预算单调增加。分析还表明，现有方法在隐私与效用之间权衡不佳，要么完全泄露敏感信息，要么严重损害性能。