MalTool:针对 LLM Agent 的恶意工具攻击
MalTool: Malicious Tool Attacks on LLM Agents
AI 导读
研究者提出针对 LLM Agent 的恶意工具攻击并开发 MalTool 框架,利用编码 LLM 自动合成带指定恶意行为的工具,评估显示即使编码 LLM 经过安全对齐,MalTool 仍能有效生成此类工具。攻击场景中,攻击者向分发平台上传恶意工具,用户无意安装且 Agent 在任务执行中选中后即可危害其安全与隐私;此前工作主要操纵工具名称和描述,这项工作聚焦此前基本未被探索的工具代码实现,并提出基于保密性、完整性、可用性三要素、适配 LLM Agent 场景的恶意行为分类。MalTool 借助自动验证器检验生成工具是否具备预期恶意行为并与已有实例足够不同,迭代优化直至成功。作者用 MalTool 构建了 1,300 个独立恶意工具和 5,727 个嵌入恶意行为的真实工具两个数据集,并显示传统恶意软件检测与面向 LLM Agent 的检测方法检出效果有限,指出需要新的防御。