PrivacyBench：评估个性化 AI 隐私的对话式基准
PrivacyBench: A Conversational Benchmark for Evaluating Privacy in Personalized AI
AI 导读
研究者提出 PrivacyBench，用含嵌入秘密的社会情境数据集和多轮对话评测来衡量个性化 AI 的秘密保护能力。对 RAG（检索增强生成）助手的测试显示，其在最多 26.56% 的交互中泄露用户秘密；加入隐私感知提示词可将泄露率降至 5.12%，但只是部分缓解。作者指出，检索机制仍不加区分地访问敏感数据，把保护负担全部压在生成器上形成单点故障，因此认为当前架构不适合大规模部署，需要隐私内生的结构性防护。