LTBD:用可学习信任边界分隔符防御提示注入
提出 LTBD,用可学习分隔符隔离可信指令与不可信数据
- arXiv
- 2610.11634
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- Llama3-8B-Instruct、Llama3.1-8B-Instruct、Falcon3-7B-Instruct 等4个
摘要LTBD 只训练四个分隔符嵌入。
LTBD 是一种不改基座权重的提示注入防御:只学习用来标出可信指令与不可信数据边界的四个 token 嵌入。
提出 LTBD,用可学习分隔符隔离可信指令与不可信数据
LTBD 是一种不改基座权重的提示注入防御:只学习用来标出可信指令与不可信数据边界的四个 token 嵌入。
提出 AgentTracer,事后定位间接提示注入的注入点并重建攻击链
提出 MFOTL 离线时序验证以监控工具 Agent 的危险动作链
这篇论文对工具调用大语言模型智能体的安全监控进行了形式化时序验证研究。
提出 PAA 方法,在边界动作前审计长流程智能体的分阶段提示注入
本研究针对长流程智能体在执行任务时面临的分阶段间接提示注入威胁,提出了在动作生效前进行拦截的边界动作审计框架与路径对齐归因方法。
提出 PACE,在工具调用前做路径隔离与效果授权
PACE 是面向工具调用型 LLM 智能体的运行时调解:当准入证据无法区分会改变行为的规格时,不在出口站点上撤销调解,而在最后一次工具调用前同时检查表示出的影响路径和请求权限。
提出 ZoneClaw,用记忆分区防御计算机使用 Agent 的持久记忆攻击
为 Agent 提出资源层授权系统 Pincer,用数字分身执行动态最小权限
Pincer 是加在现成 coding agent 上的资源层授权防御:用只受用户侧信息影响的 digital twin 做动态最小权限,并与 tool-call 层防御并存。要处理的是用户维护策略带来的权限蠕变和授权疲劳,以及不学习用户策略的 tool-call 分类器。作者引述工作称 auto mode 会放行多数不安全操作,并认为推理代码或复杂 shell 的效果在这一层不实际。
提出 Pictionary,将不可信文本渲染成图像以防御提示注入
提出多智能体系统提示注入的威胁模型与四层架构防御
提出 Provenance-Aware Transformers,隔离不可信来源防御间接提示注入
提出 ActGuard 执行前动作审计,定位并遮盖间接提示注入的恶意片段
提出 IntentCap,按来源字段所有权合成并裁决 Agent 能力租约
IntentCap 是把智能体能力绑到当前任务意图、并按上下文来源划分字段所有权的权限机制。
为冻结模型与目标域自动搜索可部署的 Agent 安全 harness
提出 Janus 前瞻守卫,在长程智能体执行有害动作前拦截潜在风险
提出 TMA-NM,以写时来源绑定抵御 Agent 长期记忆投毒
TMA-NM 把 LLM 智能体长期记忆的行动权限绑到写时来源,用来挡住跨会话记忆投毒。
提出企业级检测系统 ADR,识别编程 Agent 的提示注入与恶意 MCP
摘要提出了端点因果遥测、两级在线分流与离线红队闭环的 ADR 系统,并在生产环境中验证了有效性。
梳理自主 Agent 威胁并提出全生命周期防御蓝图 FASA
这是一份以 OpenClaw 为案例的威胁梳理和防御架构报告,不是带分数的攻击或防御评测。
提出推理时防御 ICON,探测注意力过聚焦并转向以纠正 Agent 间接提示注入
ICON 在推理时检测 IPI 的注意力过聚焦并转向,避免以拒答中止智能体轨迹。
提出间接提示注入护栏 CausalArmor,按因果归因选择性清洗未受信片段
CausalArmor 是工具调用智能体上的间接提示注入防护中间层,用来避免无攻击时也支付常开清洗的效用和延迟成本。