StegoMemory 红队测试:智能体持久记忆可被用作跨会话隐蔽信道
提出 StegoMemory,评测智能体持久记忆作为跨会话隐写信道
- arXiv
- 2610.04589
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Llama 3.1 405B、Claude 3.5 Sonnet、GPT-4o 等13个
摘要研究揭示智能体持久记忆可作为隐蔽信道跨会话传输机密,写入持久化是主要防御瓶颈,呼吁建立记忆完整性防御。
提出 StegoMemory,评测智能体持久记忆作为跨会话隐写信道
摘要研究揭示智能体持久记忆可作为隐蔽信道跨会话传输机密,写入持久化是主要防御瓶颈,呼吁建立记忆完整性防御。
提出 Bi-QSTO,优化能穿过质量筛选并在微调中削弱安全对齐的投毒样本
Bi-QSTO 研究一个实际训练缺口:基于质量的数据选择会先于微调决定样本去留,而以往微调投毒多假设毒样本直接进入训练集。已对齐 LLM 的拒答会被少量有害或看似无害的微调样本削弱。作者用三个问题串起实验:选择能否排除毒样本。
提出只训练或篡改多智能体潜在通信链路来提高有害遵从
学习得到的潜在通信链路会改变由冻结、对齐智能体组成的系统是否遵从有害请求。。作者研究三种拓扑:双智能体、三级顺序协作,以及双专家加汇总。
提出 MMSkillRisk 基准,评测多模态技能图像中的隐藏指令诱导 Agent 越权操作
摘要论文提出 MMSkillRisk 基准与 NCVA 攻击,揭示多模态技能中教学图像潜藏指令可引发未授权操作并与良性任务共存。
提出 InjecMEM,一次注入 Agent 记忆使后续查询输出预设内容
提出 SYNCHAIN,诱导计算机使用 Agent 自建跨任务持久攻击链
摘要论文揭示了 CUA 自合成工件带来的内部供应链威胁,验证了潜伏载荷的跨任务传播能力与防御局限。
用通用扰动对恶意软件分类器及漂移检测器做规避与后门投毒
提出 CRCP 框架,优化分块与重排下的 RAG 语料投毒
CRCP 研究的是带分块和重排的 RAG 语料投毒,而不是只提高文档级检索分数。
提出 VPH 与 VTH,只改视频帧劫持世界模型并投毒下游策略
只改看似安全的视频帧,经世界模型之后才改变下游机器人策略。 问题在于世界模型进入数据生成后,数据集检查看到的仍是安全演示,合成轨迹却可以变危险。
提出 SilentRetrieval,以语义保持对抗文档投毒劫持 RAG 检索与生成
SilentRetrieval 是针对 RAG 的两阶段语料投毒,在每查询一篇、合成目标答案的统一协议下,同时处理检索劫持、生成操纵和流畅度。
提出 M3 Att,在不知查询时投毒医学多模态 RAG 并误导临床决策
提出 PoisonedSkills,评测编码 Agent 技能生态的文档投毒
PoisonedSkills 研究编码智能体的技能供应链投毒,重点是文档内容如何进入实际系统操作。。
提出 LAAF,分阶段自动攻击智能体系统的 LPCI 漏洞
作者称 LAAF 是专为智能体 LLM 中 LPCI 构建的自动化红队框架。要处理的是:编码、延迟、条件触发的载荷可留在记忆或 RAG 中跨会话重入,而 Garak、PyRIT 不按六阶段用上一轮突破结果播种下一阶段。
提出 SkillJect,自动生成投毒 skill 诱导代码 Agent 执行隐藏脚本
SkillJect 是针对可安装 agent skill 的自动化提示注入框架。作者要解决的是:公开或手工放入 skill 的恶意指令常常被拒绝或忽略,而 skill 一旦安装就会被反复当作可信指导加载。
提出查询无关黑盒攻击 DQ-A,用可迁移文末后缀降低文档检索排名
DQ-A 是一种 query-agnostic、complete black-box 的文档隐藏攻击,对象是用最后隐层相似度匹配的 LLM 检索。
用 OpenRAG-Soc 评测社交网页 RAG 的间接提示注入与检索投毒
提出 LPCI,把延迟条件载荷写入记忆与检索库以跨会话触发
作者把LPCI定义为针对智能体逻辑执行、记忆留存和工具集成的跨阶段漏洞类,而不是单次输入上的提示改写。