跳到正文
原文
arXiv· arXiv:2601.01685· Jinwei Hu, Xinmiao Huang, Youcheng Sun, Yi Dong, Xiaowei Huang·本站收录· 原文发表精选关注度56

用真相说谎:开放信道多智能体合谋借 Generative Montage 操纵信念

Lying with Truths: Open-Channel Multi-Agent Collusion for Belief Manipulation via Generative Montage

论文速读

据论文全文整理(AI 生成),以原文为准

AI 导读论文提出一种认知合谋攻击,多个智能体仅用真实信息碎片在公开渠道协同发布,诱导受害者智能体形成虚假信念。

问题
LLM 智能体在实时合成信息时,其推理能力反而成为攻击面。作者提出一种新型威胁:多个串通智能体仅用散布在公开渠道的真实证据片段,不靠隐蔽通信、后门或伪造文件,就能操纵受害者的信念。
方法
作者形式化了首个认知串通攻击(Cognitive Collusion Attack),并提出 Generative Montage:由 Writer、Editor、Director 三个角色通过对抗辩论构造叙事、优化片段排序并验证欺骗效果,再经 Sybil 账号分散发布;同时构建了源自真实谣言事件的 CoPHEME 数据集进行模拟。
实验与结果
在 14 个 LLM 家族上攻击成功率约 74.4%(闭源)和 70.6%(开源);推理能力更强的模型反而更易受害,Chain-of-Thought 提示使 ASR 上升;下游多数投票与 AI Judge 的欺骗率仍超 60%;消融显示单智能体化使 ASR 下降约 50.2%,证据序列长度呈倒 U 型,11-15 条时最有效。
局限与可以继续做的
作者指出 CoPHEME 仅限模拟环境中的文本谣言,未涵盖多模态、真实平台动态与自然反驳;工作刻画了漏洞但未提出具体防御机制,未来需研究原则性缓解措施与更广的认知级基准。
AI 导读和推荐理由作者提出 Generative Montage 框架,由 Writer、Editor、Director 三个角色通过对抗辩论生成并排序证据碎片,再经 Sybil 账号分发。基于 PHEME 构建的 CoPHEME 数据集上,14 个模型家族的攻击成功率达 74.4%(闭源)和 70.6%(开源权重);推理增强的开源权重模型比基座模型更易受影响,而闭源模型呈相反趋势,显式 CoT 提示使 ASR 分别上升 3.1% 和 4.7%。下游裁判的欺骗率超过 60%,消融实验显示退化为单智能体时 ASR 降至 26.8%。

论文提出一种认知合谋攻击,多个智能体仅用真实信息碎片在公开渠道协同发布,诱导受害者智能体形成虚假信念。作者提出 Generative Montage 框架,由 Writer、Editor、Director 三个角色通过对抗辩论生成并排序证据碎片,再经 Sybil 账号分发。基于 PHEME 构建的 CoPHEME 数据集上,14 个模型家族的攻击成功率达 74.4%(闭源)和 70.6%(开源权重);推理增强的开源权重模型比基座模型更易受影响,而闭源模型呈相反趋势,显式 CoT 提示使 ASR 分别上升 3.1% 和 4.7%。下游裁判的欺骗率超过 60%,消融实验显示退化为单智能体时 ASR 降至 26.8%。

推荐理由论文提出仅用真实信息碎片的多智能体合谋攻击,在14个模型家族上给出攻击成功率,并发现推理能力越强越易受影响。

深度解读生成中

阅读原文arxiv.org