AgentLeak：面向多智能体 LLM 系统内部通道隐私泄露的基准
AgentLeak: A Benchmark for Internal-Channel Privacy Leakage in Multi-Agent LLM Systems
论文速读
据论文全文整理（AI 生成），以原文为准
研究者发布 AgentLeak 基准，用于评测多智能体 LLM 系统内部通道的隐私泄露。
- 多智能体 LLM 系统在协作时，敏感数据会经由智能体间消息、共享记忆和工具参数等内部通道流动，而现有评测只看最终输出，无法测量这些通道的隐私泄露。
- 作者提出 AgentLeak 基准，覆盖医疗、金融、法律、企业四个领域共 1000 个场景，对七条通信通道做插桩，采用 coordinator-worker 拓扑，并用 canary 匹配、结构化字段抽取和 LLM-as-Judge 三层流水线检测泄露。
- 在 4979 条执行轨迹、五个生产模型上，多智能体把最终输出泄露降到 27.2%（单智能体 43.2%），但内部通道使总暴露升至 68.9%；智能体间消息泄露率 68.8%，仅审计输出会漏掉 41.7% 的违规，且 C2≥C1 在五个模型和四个领域一致成立。
- 评测仅覆盖英文场景和两智能体的 coordinator-worker 拓扑，C3–C7 未做全量评估；LLM-as-Judge 有 7.4% 假阴性，报告值为保守下界；多智能体 C1 较低可能部分源于提示结构差异，需消融实验厘清。
研究者发布 AgentLeak 基准，用于评测多智能体 LLM 系统内部通道的隐私泄露。该基准覆盖医疗、金融、法律和企业四个领域共 1,000 个场景，在 GPT-4o、GPT-4o-mini、Claude 3.5 Sonnet、Mistral Large 和 Llama 3.3 70B 上采集了 4,979 条执行轨迹，并对最终输出、智能体间消息、工具输入输出、共享记忆、日志和产物等七条通道埋点。结果显示，多智能体配置的最终输出泄露率低于单智能体（27.2% 对 43.2%），但智能体间消息（68.8%）与共享记忆（46.7%）等内部通道把整体暴露率推高到 68.9%，仅审计最终输出会漏掉 41.7% 的违规。
推荐理由论文用 4,979 条执行轨迹量化了多智能体内部通道的泄露率，为部署方评估仅审计最终输出的盲区提供了可复现基准。