DriftNet：双头轨迹 Transformer 检测并定位 LLM Agent 中的提示注入
DriftNet: A Dual-Head Trajectory Transformer for Detecting and Localizing Prompt Injection in LLM Agents
AI 导读
Asif Pinjari 提出 DriftNet，一个双头轨迹 Transformer，读取已记录的工具调用轨迹并在一次前向中回答三个问题：轨迹是否被攻陷、攻击从哪一步进入、哪些步骤被劫持，第二个头为每一步打上 benign、injection point、hijacked 或 failed injection 四类标签。该方法用冻结的句子编码器和四个不含身份信息的世界特征嵌入每一步，主干参数量不到两百万，采用类别加权的双头联合目标训练，无需访问 Agent 自身的模型。