ContextLeak：通过恶意工具窃取 LLM Agent 运行时上下文
ContextLeak: Exfiltrating LLM Agent Context via Malicious Tools
AI 导读
研究者提出 ContextLeak，一种通过恶意工具窃取 LLM Agent 运行时上下文的攻击，目标是让 Agent 既选中该工具、又把上下文作为输入参数传给工具。作者指出，上下文外泄通常需要三个条件：Agent 选中恶意工具、Agent 将运行时上下文作为参数传入、工具实现把输入发送到攻击者控制的端点；已有工作主要关注第一和第三个条件，第二个条件此前基本未被探索。ContextLeak 用强化学习精心构造工具的名称和描述，由一个攻击 LLM 自动生成这些内容，并在具有多样化模拟 Agent 上下文的影子用户上对攻击 LLM 做强化学习微调，其关键技术贡献是针对上下文外泄目标设计的奖励函数。