LTBD:用可学习信任边界分隔符防御提示注入
提出 LTBD,用可学习分隔符隔离可信指令与不可信数据
- arXiv
- 2610.11634
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- Llama3-8B-Instruct、Llama3.1-8B-Instruct、Falcon3-7B-Instruct 等 4 个
摘要LTBD 只训练四个分隔符嵌入。
LTBD 是一种不改基座权重的提示注入防御:只学习用来标出可信指令与不可信数据边界的四个 token 嵌入。
另有 194 篇论文还没打上分类标签,暂不在筛选结果里。
提出 LTBD,用可学习分隔符隔离可信指令与不可信数据
LTBD 是一种不改基座权重的提示注入防御:只学习用来标出可信指令与不可信数据边界的四个 token 嵌入。
提出 AgentTracer,事后定位间接提示注入的注入点并重建攻击链
提出 MFOTL 离线时序验证以监控工具 Agent 的危险动作链
这篇论文对工具调用大语言模型智能体的安全监控进行了形式化时序验证研究。
提出 ASPIRE 行为图搜索,开放式发现 Agent 提示注入漏洞
ASPIRE 是给搭建方用的智能体提示注入红队引擎,目标是开放式画出可利用的行为路径,而不是在固定任务上打磨一条载荷。
提出 CredLeak-Bench,评测 Agent 面对钓鱼的凭据泄露与恢复
提出 multi-CaMeL,在智能体调用边界隔离可信指令与非可信数据
摘要论文针对多智能体中单体防御不组合的边界清洗问题,提出 multi-CaMeL 协议彻底阻断了 MultiAgentDojo 上的注入攻击。
提出服务方间接提示注入,把主动智能体的决策协助转向预选目标
外部提供者只控制与自身目标关联的内容,就可以把良性主动个人智能体的协助转向该目标。
提出 PAA 方法,在边界动作前审计长流程智能体的分阶段提示注入
本研究针对长流程智能体在执行任务时面临的分阶段间接提示注入威胁,提出了在动作生效前进行拦截的边界动作审计框架与路径对齐归因方法。
把 SynthID 嵌入基因组语言模型采样,并用位置无关检测追溯生成序列
作者在两个六碱基基因组模型的采样里嵌入 SynthID,并让验证者在不知道起点、链和 token phase 时做一次校正后的检出。
提出 SRFT,让 Agent 从失败经验中学习拒绝提示注入
提出抗删除水印 RMCW,在生成时注入 Reed-Muller 结构并做局部检验
提出 MIRROR,用多路径摘要多数表决保障多智能体通信完整性
MIRROR 是 LLM 多智能体通信层上的多路径法定人数完整性原语,只处理不透明字节,不解释消息内容。要处理的是 Agent-in-the-Middle:中介合法终结 TLS 后可改在途消息,而语义校验有推理开销和误拦,签名又要求私钥管理。做法是生成结束后复制同一规范化载荷。
提出 BDA,按辩证动作可靠性加权聚合多 LLM 议会以抵抗持续对抗
BDA 是一种不另调 LLM 的多 LLM 议会聚合方法,同时处理置信度校准和持续不可靠席位。
构建 EvoRiskBench 评测工作区 Agent 的运行时安全风险
摘要论文构建了工作空间智能体运行时风险基准 EvoRiskBench,发现高执行力智能体在 IPI 下面临较高安全风险。
提出 PACE,在工具调用前做路径隔离与效果授权
PACE 是面向工具调用型 LLM 智能体的运行时调解:当准入证据无法区分会改变行为的规格时,不在出口站点上撤销调解,而在最后一次工具调用前同时检查表示出的影响路径和请求权限。
提出 ZoneClaw,用记忆分区防御计算机使用 Agent 的持久记忆攻击
提出 memetic trojans,借助社交传染在 Agent 网络中传播对抗载荷
Memetic trojans 是一类网络介导攻击:对抗载荷搭在智能体本来就会转发和点赞的内容上扩散,转发者不必被攻陷,也不必执行“请继续复制”的指令。
为 Agent 提出资源层授权系统 Pincer,用数字分身执行动态最小权限
Pincer 是加在现成 coding agent 上的资源层授权防御:用只受用户侧信息影响的 digital twin 做动态最小权限,并与 tool-call 层防御并存。要处理的是用户维护策略带来的权限蠕变和授权疲劳,以及不学习用户策略的 tool-call 分类器。作者引述工作称 auto mode 会放行多数不安全操作,并认为推理代码或复杂 shell 的效果在这一层不实际。
提出 A2A-TIBA,经 A2A 对等任务间接注入并植入常驻回调
A2A-TIBA 把间接提示注入和绕过放进 A2A:gray-box 攻击者已能投递任务,诱导目标部署常驻回调程序后,下令和外传不再经过智能体。
提出 MiniRep,在多智能体辩论聚合中结合当前质量、风险与历史声誉并限制克隆组
MiniRep 是面向恶意智能体的 MAD 声誉聚合,只作用在 Decide 阶段。