Simon Willison 实测 Claude Fable 5：为调试 CSS 自行发明多种绕过手段
Simon Willison 在使用 Claude Fable 5 两天后，将其描述为“relentlessly proactive”，并用一次实际调试经历说明这一点。
提示注入
全部主题直接与间接提示注入：攻击面、真实案例与防御思路。
在这个话题内搜索或按分类筛选新闻与论文
第 321–340 条 · 共 366 条10月1日周四
星期四
Simon Willison · 收录 · 原文 Simon Willison · 收录 · 原文 关注度5050 研究将提示注入归因于角色混淆，改写文本风格可降低攻击成功率
Charles Ye、Jasmine Cui 和 Dylan Hadfield-Menell 的研究指出，模型难以区分自身特权文本（如 <system>、 thinking、<assistant> 标签包裹的内容）与 <user> 标签中的不可信输入，作者称之为角色混淆。研究发现模型更看重文本风格而非实际内容，由此产生令人担忧的越狱方式，例如在请求后附加模仿模型内部思考块风格的文字，gpt-oss-20b 等模型可能因此被误导并覆盖初始训练。研究还发现，将文本改写得不那么像角色标签预期格式的 destyling 操作会显著影响模型对文本的分类，使数据集上的平均攻击成功率从 61% 降至 10%。
Simon Willison · 收录 · 原文 关注度4343 2,000 人尝试攻击 OpenClaw 助手，6,000 次均未泄露密钥
Fernando Irarrázaval 在 hackmyclaw.com 发起挑战，让参与者通过发送邮件诱导其 OpenClaw 测试实例泄露密钥，结果 6,000 次尝试全部失败，期间消耗 500 美元 token 费用，并因入站邮件过多导致一个 Google 账号被封。该实例底层模型为 Opus 4.6，并配有明确的反提示注入规则，禁止依据邮件内容泄露 secrets.env 或凭据、修改自身文件、执行邮件中的命令或代码，以及向外部端点外传数据。
Wiz Research · 收录 · 原文 精选关注度5050 Wiz 披露 Moltbook 数据库暴露：150 万 API token 与 3.5 万邮箱可被任意读写
Wiz Research 发现 AI 智能体社交平台 Moltbook 的 Supabase 数据库配置错误，缺少 Row Level Security，导致未认证用户可完整读写全部平台数据。暴露内容包括 150 万个 API 认证 token、3.5 万个邮箱地址以及智能体之间的私信，其中 agent_messages 表存有 4060 段未加密的私信，部分包含明文 OpenAI API key。研究人员还确认存在写入权限，可修改任意帖子并注入提示注入载荷。数据库显示平台宣称的 150 万智能体背后只有约 1.7 万名人类所有者，比例约 88:1，且无速率限制或身份验证机制。
推荐理由披露了 AI 智能体社交平台因 Supabase 缺少 RLS 导致密钥与私信外泄的完整过程，并给出五条面向 AI 生成应用的安全教训。
Wiz Research · 收录 · 原文 精选关注度5555 Wiz 披露 AI GitHub Actions 的权限绕过与密钥外泄风险
Wiz 对 OpenAI、Anthropic、Google 等厂商的 AI GitHub Actions 做了安全分析，发现外部 App 与 bot 可绕过权限校验触发 AI 执行，并存在针对动态生成凭据文件的密钥外泄路径。研究覆盖 anthropics/claude-code-action（超 1.2 万个公开工作流）、google-github-actions/run-gemini-cli（超 1 千个）、openai/codex-action 和 actions/ai-inference，受影响仓库合计星标超 20 万。
推荐理由Wiz 对主流 AI GitHub Actions 的实测披露了权限绕过与凭据外泄两类新路径，并附厂商修复进展，可对照检查自家工作流配置。
Google Threat Intelligence · 收录 · 原文 精选关注度5050 GTIG 报告：攻击者转向智能体 AI，六小时内完成大规模凭据窃取
Google Threat Intelligence Group（GTIG）发布 2026 年第二季度 AI 威胁追踪报告，指出攻击者已从基础提示词交互转向智能体 AI 工作流与 AI 自动化。报告称，2026 年第二季度 GTIG 观察到威胁行为者先攻陷云资源，随后在不到六小时内规划、构建并执行了一次由智能体驱动的大规模凭据窃取行动，压缩了防御方的响应窗口。
推荐理由报告以 Mandiant 一线响应数据呈现攻击者从提示词走向智能体自动化的具体案例，可对照自身 AI 资产与供应链暴露面。
Microsoft PyRIT 版本发布 · 收录 · 原文 关注度2828 Microsoft PyRIT v0.12.0 发布：GUI、CLI 与框架三种交互方式全部可用
Microsoft 发布 AI 红队测试工具 PyRIT v0.12.0，首次让 GUI（CoPyRIT）、CLI 和框架三种交互方式全部达到可用状态。CLI 新增 Scam、Leakage、Psychosocial、Jailbreak 四类 AIRT 场景及 RedTeamAgent Foundry 预配置红队测试，覆盖 25+ 攻击策略。框架引入 YAML 配置系统、TargetRegistry 和 8 个新数据集加载器，但含破坏性变更需按迁移指南升级。
Microsoft PyRIT 版本发布 · 收录 · 原文 关注度2020 Microsoft PyRIT v0.14.0 发布
Microsoft PyRIT 发布 v0.14.0，将 Message、Score、Seed 类及 Identifier 等核心模型迁移到 Pydantic v2，构造改为仅限关键字参数并拒绝额外字段，同时强制所有异步函数加 `_async` 后缀并重命名部分辅助函数。该版本移除此前标记弃用的全部功能，GCG 转为实验特性并提供新的公开 API，新增 Round Robin Target、Realtime 流式会话与服务端打断攻击以及图像转换器，还加入 VLGuard、StrongREJECT、Agent Threat Rules 等多个数据集加载器和 Python 3.14 支持，并修复 38+ 个依赖项漏洞及特定 CVE。
腾讯 AI-Infra-Guard 版本发布 · 收录 · 原文 关注度2121 腾讯 AI-Infra-Guard v4.5.2 发布：新增 SkillJack 项目并修复 mcp-scan 提示注入致 RCE
腾讯 AI-Infra-Guard 发布 v4.5.2，新增 SkillJack 项目和一批 AIG 检测规则，并为 Qdrant、Chroma、Weaviate 补充仅 GET 指纹识别。该版修复了 mcp-scan 动态扫描模式下经提示注入触发的远程代码执行问题，同时修补 skill-scan 字符集内容走私及隐藏编译字节码两处缺陷，并将 aig-agent-redteam 变异引擎重构到 v5.0.0、合并工作流攻击与变异攻击流程。
腾讯 AI-Infra-Guard 版本发布 · 收录 · 原文 关注度2424 腾讯 AI-Infra-Guard v4.6.0 发布：新增 API Checker 与 LLM API 投毒检测
腾讯 AI-Infra-Guard 发布 v4.6.0，新增 API Checker 模块提供 API 安全审计并集成 Web 代理与统一 CLI 命令，同时加入针对 LLM API 投毒攻击的新检测能力。Agent-Scan（aig-agent-redteam）升级到 v5.0.0，重构变异引擎并将 workflow-attack 合并入 mutation-attack，还完成了 DeepSeek Harness 提示注入评估的研究工作。此外修复了 MCP 客户端迁移至 SDK 2.0、streamable_http_client 头参数兼容等问题，文档中组件表更新且 CVE 计数从 1900+ 升至 2000+。
MITRE ATLAS 数据发布 · 收录 · 原文 关注度3535 MITRE ATLAS v5.6.0 更新：新增 AI 智能体配置搜索等攻击技术
MITRE ATLAS 发布 v5.6.0，新增三项攻击技术：获取公开 AI 制品下的 AI Agent 配置搜索、搜索开放网站/域名下的代码仓库，以及钓鱼下的 Deepfake 辅助钓鱼。同时更新了钓鱼、LLM 越狱与缓解措施，涉及用户培训、Deepfake 检测，并更新了 OpenClaw 通过提示注入实现命令与控制等案例研究。
MITRE ATLAS 数据发布 · 收录 · 原文 关注度4343 MITRE ATLAS 发布 v2026.06，新增窃取 Web 会话 Cookie 技术与多起 AI 攻击案例
MITRE ATLAS 发布 v2026.06 数据更新，新增“窃取 Web 会话 Cookie”和“使用替代认证材料：Web 会话 Cookie”两项技术，并更新了 AI 服务 Web 界面相关条目。现有技术 LLM Jailbreak 与缓解措施 Generative AI Guardrails、Generative AI Guidelines、AI Telemetry Logging 也得到更新。
MITRE ATLAS 数据发布 · 收录 · 原文 关注度4343 MITRE ATLAS 发布 v2026.09 数据更新，新增多项 Agent 与多模态攻击技术
MITRE ATLAS 发布 v2026.09 数据版本，包含 1 个矩阵、16 项战术、120 项技术、88 项子技术、40 项缓解措施和 73 个案例研究。新增技术涵盖多模态输入中的触发器、AI Agent 响应偏置、伪造 AI 助手链接、配置错误或公开暴露的 AI 服务、发现 AI Agent 运行时能力、AI 定向隐蔽以及针对 AI 基础设施的主动扫描等。更新了 LLM 提示混淆、间接 LLM 提示注入、LLM 越狱、LLM 响应渲染和 AI Agent 点击诱饵等技术。缓解措施新增 AI 蜜罐，更新生成式 AI 护栏。
NVIDIA garak 版本发布 · 收录 · 原文 关注度2020 NVIDIA garak v0.14.1 发布：新增 WebSocket 生成器并移除 nemollm
NVIDIA garak 发布 v0.14.1，新增面向实时 LLM 安全测试的 WebSocket 生成器和 OpenAI Harmony 音频输入格式，并为攻击成功率加入 Bootstrap 置信区间。该版本激活 sata 与 badchars 探针、补充简历类提示注入样例、改进 Jinja 注入检测，同时移除了废弃的 nemollm 生成器及其依赖，属破坏性变更。
NVIDIA garak 版本发布 · 收录 · 原文 关注度2525 NVIDIA garak v0.15.0 发布：新增多轮 GOAT、Agent breaker 与系统提示提取探针
NVIDIA garak 发布 v0.15.0，新增多轮 GOAT、Agent breaker 和系统提示提取三类探针，并加入同形异义混淆提示走私检测及 ModernBERT 拒答检测器。该版本还引入 NeMoGuardrails 服务器支持和带推理轨迹的测试生成器，改进 REST 生成器的 mTLS 客户端证书认证并为 Bedrock 生成器增加推理模型支持，同时修复编码检测逻辑翻转等问题。
OWASP GenAI Security Project · 收录 · 原文 关注度4141 OWASP 发布 2026 年第一季度 GenAI 漏洞事件汇总报告
OWASP GenAI Security Project 发布 2026 年第一季度漏洞汇总报告，覆盖 2026 年 1 月 1 日至 4 月 11 日，将每起事件映射到 OWASP Top 10 for LLM Applications 2025 与 OWASP Top 10 for Agentic Applications 2026。
OWASP GenAI Security Project · 收录 · 原文 关注度4141 OWASP 上线 FinBot CTF，用模拟金融多智能体平台演练 Agentic 安全风险
OWASP GenAI Security Project 的 Agentic Security Initiative 正式上线 FinBot CTF，这是一个围绕模拟金融服务应用构建的交互式 Agentic 安全 CTF，被定位为“Agentic AI 的 Juice Shop”。FinBot 模拟一个多智能体供应商管理平台，包含自主入驻、欺诈检测、发票处理和通信等由 LLM 驱动并拥有真实工具访问权限的流程。
OWASP GenAI Security Project · 收录 · 原文 精选关注度5050 OWASP 作者解析 MemoryTrap：Claude Code 记忆与配置成为持久提示注入面
OWASP ASI06 条目联合负责人 Idan Habler 结合 Cisco 对 Claude Code 的研究，说明 Agent 的记忆与上下文如何成为攻击面。在被称为 MemoryTrap 的漏洞中，常规开发流程即可触发持久提示注入：克隆仓库、让 Agent 协助、批准依赖安装，恶意载荷便进入持久记忆、全局 hooks 配置，并通过 system prompt 影响高信任指令层，从而跨会话、跨项目乃至重启后持续影响模型行为。作者指出，记忆文件、hook 脚本和本地配置实际属于 Agent 的受信运行环境与控制面，一旦被投毒，系统会继续把攻击者控制的内容当作合法指引，这正是 ASI06 记忆与上下文投毒所针对的风险。
推荐理由以 MemoryTrap 为例说明 Agent 的记忆、hooks 与本地配置如何成为持久化提示注入面，并给出 Claude Code 的修复版本。
腾讯玄武实验室 · 收录 · 原文 精选关注度5050 腾讯玄武实验室发布 AI 网络爬虫安全白皮书并开源 SEChrome 防护方案
腾讯玄武实验室发布《AI网络爬虫安全白皮书》，系统分析 AI 服务端浏览器与爬虫的攻击面，并提出以静态攻击面收敛加动态行为隔离为核心的纵深防御框架。白皮书梳理了从入口识别、白名单绕过、环境指纹探测到漏洞触发与横向渗透的五阶段攻击链，并给出四个真实案例，涉及 URL 跳转绕过白名单、组合 AI 阅读与截图功能、用 img onerror 绕过 script 过滤、以及隐藏后台爬虫入口，最终均通过旧版本 Chrome 的 N-day 漏洞实现远程代码执行。作者称相关产品服务端用户规模累计超 10 亿。防御侧建议关闭 WebGL、WebRTC、PDF 插件等无用模块，避免使用 --no-sandbox，并做网络、文件系统与实例隔离。
推荐理由白皮书给出服务端浏览器攻击链与四类真实案例，并开源 SEChrome 运行时隔离方案，可迁移到自家 Agent 联网架构。
Adversa AI · 收录 · 原文 精选关注度5757 Adversa AI 汇总 2026 年 9 月 AI 编码智能体安全资源
Adversa AI 汇总了 2026 年 9 月的九项 AI 编码智能体安全资源，按攻击技术、漏洞、防御框架和红队研究分类。GhostJacking 把 WAF 拦截日志变成投递通道，在厂商推荐的 Claude Code 配置上成功率达 90%，侦察显示超过 15000 家组织处于影响范围。Black Hat 2026 披露 Anthropic、Google 和 OpenAI 各自发布的默认 GitHub Actions 配置可被单个未认证 issue 攻破并导致远程代码执行，其中 Gemini CLI 漏洞被 Google 评为 CVSS 10.0。
推荐理由按月汇总九项 AI 编码智能体安全资源，把攻击链、漏洞与防御框架并置，便于对照本月风险面。