Skip to content

Translation in progress Some entries still include text in the original language.

Prompt injection · News

Oct 12 · Monday

Prompt injection · News

Latest publications and developments
Prompt injection

Research topics

Prompt injectionAgent safetyDeception and schemingReward hackingChain-of-thought monitoringInterpretabilityAI controlBackdoors and poisoning隐私与数据泄露Supply-chain securityDangerous capabilitiesAI 与网络攻防开源模型安全Red teaming

Companies and institutions

OpenAIAnthropicGoogle DeepMindGoogle ResearchGoogle 安全MetaxAIMicrosoftNVIDIADeepSeek阿里巴巴 · Qwen智谱 · GLM月之暗面 · Kimi字节跳动腾讯蚂蚁集团上海人工智能实验室UK AISIUS CAISIMETRApollo ResearchRedwood ResearchFAR.AIPalisade Research

Reports and frameworks

System CardFrontier safety frameworks
Oct 8Thu
  1. X @wunderwuzzi23X @wunderwuzzi23 · 2 reports · 7

    研究者重提 assume bias，今称 Trust No AI

    安全研究者 wunderwuzzi23 表示，他 6 年前在机器学习攻击系列中已讨论过这一攻击思路，当时称之为 assume bias，因为那时 LLM 还未受到太多关注；如今他用 Trust No AI 来概括同一问题。他称六年前开始撰写 ML 攻击相关内容，主要原因是注意到 ML 安全研究与安全实践之间存在缺口，并提出假设系统已被攻破是一种好策略，建议追问：我们如何知道它发生了？我们打算怎么应对？

    Latest developments

    1. 研究者谈 ML 安全研究与安全实践之间的差距

    2. 6 年前机器学习攻击系列中提出的 assume bias，如今被称作 Trust No AI

Oct 2Fri
  1. arXiv, X @florian_tramerarXiv · 2 sources · 2 reports · 50

    论文提出将不可信内容渲染为图像以防御提示注入

    arXiv 论文提出防御方法 Pictionary：多模态大语言模型对以文本形式出现的对抗指令比对图像等非文本通道的同一指令更易服从，据此在不可信内容进入模型前先将其渲染为排版图像或音频，该防御无需训练。随后在 X 上，@florian_tramer 评论称，当 @JieZhang_ETH 提出这个项目时，他开玩笑说自己知道这想法来自本人而非 LLM，因为它太古怪，并称这是赞美，认为在被 AI 垃圾研究淹没时尝试古怪方向比以往更重要。

Sep 22Tue
  1. Cloud Security Alliance（AI 相关） · 15

    Cloud Security Alliance：AI 智能体防御所需的三大属性

    Cloud Security Alliance 提出 AI 智能体防御需同时具备三要素——Omniscience（对应用的情境化理解）、Independence（位于杀伤链之外的独立控制与监控）、Adaptability（持续自我学习与调优）。其指出真正的危害在于智能体的下一步行动而非提示注入载荷本身，并以异步分诊场景中的错误报告为例说明恢复指令会被智能体当作常规操作执行。

Sep 14Mon
  1. Michael Bargury · 21

    与Ben Nassi谈Google回应及AI安全

    我与@ben_nassi对话的第二部分已在in the wild上线！ 我们聊了Google对"invitation is all you need"的回应、CaMeL、超越致命三要素、半点击AI漏洞利用、BlackHat投稿、什么是好的演讲，以及真实世界AI安全会议

Jul 16Thu
  1. HiddenLayer Research · 24

    编码智能体如何改变应用风险

    编码智能体正把 AI 安全的重心从单一模型转向由模型、上下文、工具、技能与编排逻辑构成的整个执行环境。与传统聊天机器人不同，编码智能体会自动从可信与不可信来源检索信息并调用工具、执行命令，使每一份 README、文档、issue 和网页都成为间接提示注入的潜在攻击面。智能体还会自行下载和集成第三方软件包，并依赖 MCP 服务器、外部工具与可复用技能等新型依赖，这些组件携带的指令、权限与能力直接塑造其推理与行为，带来新的 AI 供应链风险。

Jun 12Fri
Dec 23, 2025Tue
  1. Simon Willison · 8

    Simon Willison 实测 Claude in Chrome 浏览器代理定位 Cloudflare CORS 配置

    Simon Willison 用 Claude in Chrome 扩展成功解决了一个实际问题——找出其 S3 存储桶目录开放 CORS 策略的来源。该问题并非来自 S3 设置，而是 Cloudflare 中一条名为 static.simonwillis.net/static/cors-allow/* 的响应头转换规则，Claude 用时 1 分 45 秒定位并给出了查看路径。尽管他对整个浏览代理类别的提示注入风险深感怀疑并在旁密切监视，此次仍是正面体验。

Dec 11, 2025Thu
  1. Simon Willison · 22

    Johann Rehberger 谈 AI 中的偏差正常化：提示注入为何被忽视

    Johann Rehberger 提出"偏差正常化"概念适用于 AI 安全：在缺乏造成实际经济损失的提示注入案例的情况下，厂商正把概率性、非确定性的模型输出当作可靠、可预测、安全的输出来信任。他指出，组织把"没有发生成功攻击"误认为"具备稳健安全"，随着时间推移降低警惕甚至跳过人工监督，让不可信输出越来越多地触发有后果的操作。该概念源自 Diane Vaughan，曾用于解释挑战者号航天飞机事故。

Date unverified
  1. Lakera Blog · 8

    AI 安全不再是一个单一问题：Lakera 提出 AI Defense Plane 统一防护员工、应用与智能体

    Lakera 提出 AI Defense Plane，主张把员工、应用与智能体三层 AI 风险纳入同一控制平面，而非各自部署点状防护。该框架强调对 AI 使用端到端可见、在运行时执行策略，并跨层关联信号，同时持续在真实与对抗条件下测试系统行为。其背景是 AI 已从生成输出转向执行动作，智能体常以委派权限调用工具，提示注入与意外泄露出现在传统控制难以检查的流程中。

  2. Lakera Blog · 17

    AI 已不再请求许可：企业安全团队是否察觉自主智能体带来的风险

    AI 正从"建议型"转向"行动型"，可自主检索内部数据、调用 API、修改记录并触发工作流，而传统安全工具无法在推理层检查其意图。Lakera 与 Check Point 的 Enterprise Playbook 将这种跨层风险累积称为常见失效模式，并指出约 60% 的观测攻击流量试图泄露系统提示词。两家公司提出 AI Defense Plane 架构，覆盖员工用 AI 工具、AI 应用与自主智能体三层，Dropbox 已部署用于防御提示注入与越狱攻击。

You have reached the end