开放会过于开放吗？论完全透明 LLM 的安全与可信性
Can Open Be Too Open? On the Security and Trustworthiness of Fully Transparent LLMs
AI 导读
论文论证完全透明的大语言模型并不必然更安全可信。作者梳理相关文献指出，由于 LLM 训练流程的可复现性有限，用户实际无法验证开放权重与配套的开放数据和训练流程是否对应，信任模型仍需信任开发者诚实行事，透明带来的收益因此受限。论文还发现，即使模型完全透明且可信，开放本身也可能有利于攻击者，开放权重尤其会提高攻击成功率，开放数据和流程也有类似作用。同样的机制虽可用于改进模型和防御攻击，但目前缺乏可靠的轻量级机制来修补 LLM 漏洞，限制了开放当下的好处。作者注明该分析基于当前的 LLM 能力和分析工具，未来发展可能需要重新评估这些结论。