StegoMemory 红队测试:智能体持久记忆可被用作跨会话隐蔽信道
提出 StegoMemory,评测智能体持久记忆作为跨会话隐写信道
- arXiv
- 2610.04589
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Llama 3.1 405B、Claude 3.5 Sonnet、GPT-4o 等13个
摘要研究揭示智能体持久记忆可作为隐蔽信道跨会话传输机密,写入持久化是主要防御瓶颈,呼吁建立记忆完整性防御。
提出 StegoMemory,评测智能体持久记忆作为跨会话隐写信道
摘要研究揭示智能体持久记忆可作为隐蔽信道跨会话传输机密,写入持久化是主要防御瓶颈,呼吁建立记忆完整性防御。
提出 CollageAttack,用空间文本碎片重组越狱文生图模型
摘要系统揭示 T2I 跨模态空间合成安全漏洞,证实离散无害元素可在图像层面重构有害意图并放大传播强度。
提出 MMSkillRisk 基准,评测多模态技能图像中的隐藏指令诱导 Agent 越权操作
摘要论文提出 MMSkillRisk 基准与 NCVA 攻击,揭示多模态技能中教学图像潜藏指令可引发未授权操作并与良性任务共存。
提出 DIVA,将有害意图拆成视觉锚点与运动文本以越狱视频生成模型
DIVA 是针对带参考图的视频生成模型的免训练 black-box 越狱:用一致性机制本身堵住语义漂移这条安全逃逸路径。。
提出 SinoGlyphBench,用配对字形混淆诊断中文审核稳定性
SinoGlyphBench是一个配对诊断基准,用来看内容审核在可还原的中文字形混淆下是否还保持原决定。
提出 HACA,将图文越狱拆为原子策略并自动组合以诱导有害输出
提出 SpeechJBB,评测语码转换语音下音频语言模型的越狱稳健性
SpeechJBB 用合成语音测量 LALM 在五语、语码转换和局部伪词混淆下的安全对齐,并另设口语理解对照。
提出 DSR 跨模态越狱,用无害图文诱导 MLLM 生成有害图像
DSR 是一种 black-box 跨模态越狱:输入侧不放显式有害内容,而让商业 MLLM 在推理中把无害图文重组成有害图像。
提出多图越狱框架 DMN,把有害意图拆进图像序列绕过安全护栏
提出删字变体越狱方法,利用重构与隐藏权衡绕过多模态模型安全过滤
提出四类视觉越狱,把有害意图编码进图像以绕过安全拒答
四类视觉越狱用来检验前沿 VLM 的文本安全训练能否挡住由图像传达的有害意图。。
提出 LAAF,分阶段自动攻击智能体系统的 LPCI 漏洞
作者称 LAAF 是专为智能体 LLM 中 LPCI 构建的自动化红队框架。要处理的是:编码、延迟、条件触发的载荷可留在记忆或 RAG 中跨会话重入,而 Garak、PyRIT 不按六阶段用上一轮突破结果播种下一阶段。
提出 StructAttack,用结构图把无害语义槽诱导视觉模型拼成恶意内容
StructAttack 是针对 LVLM 的黑盒、单次查询越狱:把有害指令拆成单独看似无害的槽,画进结构图,再让模型把槽拼回有害内容。。
提出 TFM,用起止帧与隐式替换越狱文生视频模型
TFM 是面向文生视频的严格黑盒提示越狱,利用模型对未写明中间过程的时间补全。
提出 MIDAS ,把有害语义拆进多张视觉谜题并跨图重构以越狱多模态模型
提出 FERRET 框架,用扩展生成多轮多模态越狱对话
提出 MAPA 多轮自适应提示攻击,交替文本与视觉动作越狱视觉语言模型
提出 COMET 跨模态纠缠攻击,越狱视觉语言模型
COMET 是面向具备多模态推理的 VLM 的黑盒越狱,用来红队测试跨模态安全对齐。作者要处理的缺口是:把恶意线索分到图文的固定组合,测不到多步推理里才出现的漏洞。攻击不访问梯度,只构造图文输入。
提出 Aegis 红队框架,多轮攻击高风险语音 Agent
Aegis 用多轮红队评测已接入业务系统的 ALLM 语音智能体。作者称这是该设定下的 the first systematic red-teaming framework。
提出 MM-Plan 多模态越狱框架,自动规划多轮图像编辑以越狱视觉独占目标
MM-Plan 是面向 Visual Exclusivity 的 black-box 多模态红队方法,并配有人工基准 VE-Safety。