事件历史事件
论文提出将不可信内容渲染为图像以防御提示注入
先了解这件事
AI 综述
arXiv 论文提出防御方法 Pictionary：多模态大语言模型对以文本形式出现的对抗指令比对图像等非文本通道的同一指令更易服从，据此在不可信内容进入模型前先将其渲染为排版图像或音频，该防御无需训练。随后在 X 上，@florian_tramer 评论称，当 @JieZhang_ETH 提出这个项目时，他开玩笑说自己知道这想法来自本人而非 LLM，因为它太古怪，并称这是赞美，认为在被 AI 垃圾研究淹没时尝试古怪方向比以往更重要。
AI 根据报道生成 · 4 天前更新
最新进展
张杰谈VLM提示注入防御思路事件进展
2 个进展
- · 1篇报道张杰谈VLM提示注入防御思路
- · 1篇报道论文提出将不可信内容渲染为图像以防御提示注入
后续时间线
10月2日
- X @florian_tramer张杰谈VLM提示注入防御思路
当 @JieZhang_ETH 提出这个项目时，我开玩笑说我知道这想法来自他而不是 LLM，因为它太古怪了。 我这是赞美！ 当我们被 AI 垃圾研究淹没时，偏离常规、尝试古怪的东西比以往任何时候都更重要。
- X@JieZhang_ETH· 讨论Pictionary作者讨论将不可信文本渲染为图片的提示注入防御（新标签页打开原帖）
9月29日
- arXivRender Before Reading：把不可信内容渲染成图像以防御提示注入
论文发现多模态大语言模型对以文本形式出现的对抗指令比对图像等非文本通道的同一指令更易服从，并将这一模态差异转化为无需训练的防御方法 Pictionary：在不可信内容进入模型前先渲染为排版图像或音频。
相关讨论
共1条
- 72 小时以前 · 不计入 72 小时的数字
- X@JieZhang_ETH · Jie ZhangPictionary作者讨论将不可信文本渲染为图片的提示注入防御（新标签页打开原帖）
“We know VLMs mostly learn instruction-following from text, so for them an image is something to describe, not obey.”
关注度走势
每天新增来源
- 10月2日新增2个来源（1家媒体、1个账号）
- 10月3日新增0个来源（0家媒体、0个账号）
- 10月4日新增0个来源（0家媒体、0个账号）
- 10月5日新增0个来源（0家媒体、0个账号）
- 10月6日新增0个来源（0家媒体、0个账号）
- 10月7日新增0个来源（0家媒体、0个账号）
- 10月8日新增0个来源（0家媒体、0个账号）
- 10月9日新增0个来源（0家媒体、0个账号）
- 10月10日新增0个来源（0家媒体、0个账号）
- 10月11日新增0个来源（0家媒体、0个账号）
- 10月12日新增0个来源（0家媒体、0个账号）
- 10月13日新增0个来源（0家媒体、0个账号）