事件历史事件
LLM 应用提示注入的防御思路
先了解这件事
AI 综述
提示注入连续两版位居 OWASP LLM 应用 Top 10 风险榜首,且无法像 SQL 注入那样靠参数化查询一次性修补,因为它利用的是模型本身无法区分“开发者指令”与“读到的文本”这一设计特性。直接提示注入是用户在聊天框输入覆盖指令,间接提示注入则是模型处理工单、邮件、网页等不可信外部内容时执行其中夹带的指令,后者更危险。有效防御在提示词之外:结构化分离指令与数据、工具最小权限、对有副作用的操作引入人工确认。
AI 根据报道生成 · 3 小时前更新
后续时间线
10月6日
- Kenodo提示注入:如何真正保护 LLM 应用免受其害
提示注入连续两版位居 OWASP LLM 应用 Top 10 风险榜首,且无法像 SQL 注入那样靠参数化查询一次性修补,因为它利用的是模型本身无法区分"开发者指令"与"读到的文本"这一设计特性。直接提示注入是用户在聊天框输入覆盖指令,间接提示注入则是模型处理工单、邮件、网页等不可信外部内容时执行其中夹带的指令,后者更危险。有效防御在提示词之外:结构化分离指令与数据、工具最小权限、对有副作用的操作引入人工确认。
相关讨论
关注度走势
每天新增来源
- 10月6日新增1个来源(1家媒体、0个账号)
- 10月7日新增0个来源(0家媒体、0个账号)
- 10月8日新增0个来源(0家媒体、0个账号)
- 10月9日新增0个来源(0家媒体、0个账号)
- 10月10日新增0个来源(0家媒体、0个账号)
- 10月11日新增0个来源(0家媒体、0个账号)
- 10月12日新增0个来源(0家媒体、0个账号)
- 10月13日新增0个来源(0家媒体、0个账号)
- 10月14日新增0个来源(0家媒体、0个账号)