中科院、北科大等论文提出CoSA攻击:注入至多5%合规技能,Agent违规率升23.43个百分点
北京科技大学:单个技能全是安全的,组合起来却“闯大祸”,揭秘LLM Agent全新攻击范式CoSA
AI 导读
中科院、北科大等机构研究者在arXiv论文中提出LLM智能体技能冲突攻击CoSA,仅新增少量合规技能即可让原本安全的技能组合产生违规。其底层问题是技能间数据流转不携带权限与约束,攻击者不修改原有技能、不提升权限,通过能力补全或关系重塑注入至多占原有技能池5%的合规新技能。在5个主流大模型、3套智能体运行框架上,智能体整体策略违规率从35.02%升至58.45%,净增23.43个百分点,覆盖数据泄露、越权状态修改和不安全执行三类风险,Cisco等扫描器告警数量几乎没有变化。团队同时发布含288个真实业务任务的CoSA-Bench评测集,并实现运行时防护组件CoSA-Guard,在对外输出、修改状态、执行代码三类高危动作前做信息流与授权双重校验,招聘场景测试中违规率从65.28%降至6.67%,良性任务完成率从66.67%降至65.00%。
推荐理由
单个技能全部合规也可能组合出风险,论文给出的攻击方法、288个任务基准和运行时防护可供部署Agent技能生态的团队对照检查跨技能数据流。