面向对话式 LLM Agent 的黑盒取证
[Daily Paper] Black-Box Forensics for Conversational LLM Agents
AI summary
一篇论文提出针对对话式 LLM Agent 的黑盒取证技术，仅凭可见的对话日志即可重建 Agent 配置并识别对抗输入。研究者通过精心设计的输入探测 Agent，可恢复系统提示词的大部分内容，包括安全约束、工具权限和人格指令；成功的越狱会在响应分布中留下特征模式，即使恶意输入已被删除也能事后识别；将响应特征与已知工具调用模式关联，还能推断会话中调用了哪些工具。Failure-First 认为，系统提示词重建可用于其红队场景，帮助对黑盒商业部署发起更精准的越狱。