StegoMemory 红队测试:智能体持久记忆可被用作跨会话隐蔽信道
提出 StegoMemory,评测智能体持久记忆作为跨会话隐写信道
- arXiv
- 2610.04589
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Llama 3.1 405B、Claude 3.5 Sonnet、GPT-4o 等13个
摘要研究揭示智能体持久记忆可作为隐蔽信道跨会话传输机密,写入持久化是主要防御瓶颈,呼吁建立记忆完整性防御。
提出 StegoMemory,评测智能体持久记忆作为跨会话隐写信道
摘要研究揭示智能体持久记忆可作为隐蔽信道跨会话传输机密,写入持久化是主要防御瓶颈,呼吁建立记忆完整性防御。
提出 VirusCascade,联合操纵商品描述与交互轨迹以劫持推荐智能体协同反思
VirusCascade 是针对推荐智能体协作反思的 black-box targeted promotion 攻击研究。 攻击者只改商品描述和少量账号的普通交互,试图让目标商品获得更多良性用户曝光。
提出检索器后门攻击操纵智能体搜索,并用 DOU 逃避检测
摘要论文展示了通过恶意检索器操纵智能体多轮搜索并利用诱饵重塑表征隐蔽后门的可行性与系统风险。
提出条件触发的爆炸提示词,并设计摄入期检测器 DeFuse
论文针对大语言模型智能体面临的间接提示注入威胁,研究了利用条件句式实现时间分离的爆炸提示词。
提出 InjecMEM,一次注入 Agent 记忆使后续查询输出预设内容
提出 SkillMisevo-Bench,量化自改进 Agent 的技能误演化
提出 ElasticBack,在单个 Agent 技能中植入条件后门
ElasticBack 是放在 LLM agent 单个 skill 里的条件后门攻击。。
提出 MAFIA,以探测放置与事实伪装对带审计 Agent 做查询式记忆投毒
提出 EvoBreak,以良性任务组合诱导自进化 Agent 的持久经验并削弱安全边界
提出 CFD 跨会话分解攻击,利用工件来源缺口绕过工具型 Agent 的本地检查
CFD针对工具型 LLM 智能体:利用 artifact 来源不被跟踪这一部署失败模式,把有害目标拆开后延迟组合。
系统研究 LLM 智能体记忆投毒并构建基准 MPBench
摘要系统研究了智能体记忆投毒风险,揭示了写入渠道漏洞,构建了 MPBench 基准并指出提示注入防御的局限。
提出潜伏记忆投毒,诱导 Agent 把外部文档写成持久伪造记忆
sleeper memory poisoning 研究带持久记忆的 LLM 助手:外部文档能否让助手存下一则伪造的用户记忆,并在原文档消失后的新会话里被取回、用来改变回复或动作。
提出 eTAMP,用网页内容跨会话投毒 Web Agent 轨迹记忆并诱导越权操作
该论文评估了基于大语言模型的 Web 智能体在利用历史交互轨迹进行记忆增强时的安全脆弱性。
提出 LAAF,分阶段自动攻击智能体系统的 LPCI 漏洞
作者称 LAAF 是专为智能体 LLM 中 LPCI 构建的自动化红队框架。要处理的是:编码、延迟、条件触发的载荷可留在记忆或 RAG 中跨会话重入,而 Garak、PyRIT 不按六阶段用上一轮突破结果播种下一阶段。
提出 Zombie Agent 攻击,经网页间接注入将载荷写入长期记忆并跨会话触发
Zombie Agent 把自进化 LLM 智能体的跨会话记忆当成攻击面:攻击者只发布网页,良性任务读入后,正常记忆更新留下载荷,并在以后无关会话里触发未授权工具行为。
提出 ER-MIA 黑盒记忆注入,用嵌入相近记忆抢占检索并改错后续回答
提出 EmoRAG,向查询与知识库注入同一表情以劫持 RAG 检索
EmoRAG 测量 RAG 对符号扰动的反应:同一表情同时出现在查询和库文本里时,检索会偏离语义匹配。作者要检查的是,检索是否真由语义相关性决定。