HiddenLayer 梳理了指令微调 LLM 如何通过控制 token、角色划分和指令层级区分 system、user、assistant 三类角色，并说明开发者如何用 system prompt 和 XML 风格模板约束模型行为。文章随后指出这些机制本身构成攻击面，包括控制 token 注入、伪造上下文重置、推理 token 滥用和 XML 提示词伪造，攻击者可借此抬高输入在指令层级中的优先级或覆盖开发者意图。文中以 GPT-4o 的 tokenization 为例说明特殊 token 与普通词表 token 共享 ID 的现象，并引用对 Gemini for Workspace、DeepSeek-R1 和 Cursor 的评估案例，展示用 <eos><bos> 重置上下文、用 <user_info> 标签注入仓库内容等手法。
HiddenLayer 发布 APE（Adversarial Prompt Engineering）对抗提示词分类法的更新版本，将原本扁平的目标列表重建为基于 AI 安全影响的三层结构，顶层沿用传统网络安全的机密性、完整性、可用性（CIA）三元组。机密性目标细分为系统提示词泄露、内部策略/工具规范泄露、用户数据外泄、跨用户或跨租户泄露、RAG 泄露、密钥泄露、训练数据提取、模型提取等；完整性目标细分为任务重定向、工作流操纵、幻觉或错误信息、推荐操纵、未授权工具使用、未授权状态变更、下游漏洞投递、偏见诱导和内容政策违规；可用性拆分为拒绝服务、延迟膨胀、拒绝钱包（denial of wallet）和上下文窗口/token/Agent 循环耗尽。新网站 ape.hiddenlayer.com 提供图视图、矩阵视图、目标页面和提示词高亮，并新增投稿表单供研究者提交技术、示例和修正。
AI 可观测性指持续追踪生产环境中大语言模型的性能、成本与行为，采集延迟、token 用量、错误率和输出质量等指标，并通过仪表盘与告警暴露问题。它需同时捕捉系统级故障（超时、限流、成本激增）与模型级故障（质量漂移、不安全输出、提示注入尝试），覆盖性能、安全、合规与威胁攻击四类监控。麦肯锡调查显示，使用 AI 的组织占比从 2023 年的 55% 升至 2025 年的 88%，而欧盟 AI Act 要求高风险系统在 2026 年 8 月 2 日前具备风险管理、日志记录与人工监督。
OWASP 2026 版 LLM 应用 Top 10 首次以数千起真实事件数据为依据重排风险，Prompt Injection 仍居首位，Excessive Agency 从第 6 升至第 3，Unbounded Consumption 上升 4 位，Misinformation 的实际影响远超安全团队预期。报告指出智能体系统的工具委派与自主决策需纳入威胁模型，并强调运行时资产清点、行为基线与自适应防护。Lasso 按 Discover-Assess-Protect 框架给出对应防御能力。
Lasso Security 发布 LEAP，一套基于 CPU 的 AI 安全护栏，宣称在文档处理吞吐上比商用护栏 API 和闭源 LLM 判官高出约三个数量级，同时保持 GPU 级准确率。LEAP 针对的是把 LLM 判官放在每个提示词、响应、检索文档和工具调用前的成本与延迟问题：单个 GPU 实例（如 AWS ml.g7.2xlarge，$3.15/小时）持续运行每月约需 $2,300。Lasso 主张低歧义输入无需开放式推理，应将推理模型留给真正模糊的安全决策。
Anthropic 面向首批科研实验室与先进制造厂商开放 Model Hardware Standard（MHS）研究预览，这是一套让 AI 智能体安全操作物理设备的共享规范。MHS 通过标准化驱动把设备接入简化为“read”“write”等原语，并让设备以标准格式可被发现，支持 MCP、命令行和代码文件三种控制方式，可并行操作显微镜、液体处理机和机械臂等仪器，把原本数周至数月的集成工作缩短到数小时甚至数分钟。该规范源于 Anthropic 与 HHMI Janelia 研究园区的合作，目前已在 Genentech、华盛顿大学 Baker 与 Pinglay 实验室、卡内基梅隆大学、HHMI Janelia、QuEra、Tetsuwan Scientific 等机构试用，其中 QuEra 用智能体控制激光系统，在 99.3% 的情况下无需人工干预即可恢复激光锁定。
promptfoo 发布 0.122.1，新增 Gemini 3.7 Flash 与 Flash-Lite 两个 provider，并完善红队测试的 token 计量，覆盖多轮攻击者与评分 token、远程策略生成用量及未计量生成请求。该版本还扩展 tracing 能力，支持从 Grafana Tempo、Braintrust、Langfuse 拉取外部 trace，并对齐 OpenTelemetry GenAI 约定，同时接入 OpenAI Agents、Vercel SDK、Claude 与 Codex 子进程遥测。安全修复方面，为所有 callback loader 加上路径穿越防护，并在输出中脱敏 AWS SigV4 凭证。
MCP Inspector 发布 2.3.0，修复容器场景下按地址绑定 loopback 并固定沙箱端口，同时将 nanoid 升级至 3.3.18 以清除一个高危安全公告。该版本新增按服务器自定义 OAuth 授权请求参数、在 Connection Info 中展示并解码 OAuth id_token，以及 Server Settings 中的 Auth URL 与 Token URL 覆盖。此外还修复了分页模式下列表拉取失败未提示、SSE 帧 CRLF 分隔解析、重复工具名无法单独检查等问题。
MCP Inspector 发布 v2.8.0，修复了此前只要设置 DANGEROUSLY_OMIT_AUTH 为 true/1 之外的取值也可能影响 /api 认证的问题，现在仅 true/1 才会禁用该认证。该版本还新增 MCP_INSPECTOR_SECRET_KEY_FILE 配置项并为各运行时补充密钥存储文档，同时加入安全公告技能、为现代通知 POST 补上 Mcp-Method 标记，并调整 OIDC 兼容路径的请求体释放逻辑。
MCP Python SDK v2.0.0 稳定版发布，支持 2026-07-28 版 Model Context Protocol 并兼容全部早期版本，pip install mcp 现安装 2.x。v1.x 进入维护模式，仅接收安全修复。新版将 FastMCP 更名为 MCPServer，引入一等公民 Client 对象，默认开启 OpenTelemetry 追踪，强化 stdio 与 OAuth（含 RFC 9207 签发者校验），Streamable HTTP 服务器对超过 4 MiB 的请求体返回 HTTP 413。
Google ADK 发布 v2.8.0，新增 Model Armor 护栏插件，并修复 BigQuery 工具中的 SQL 注入漏洞。该版本还加入 ADK_MAX_LLM_CALLS 环境变量以限制 LLM 调用上限，为 RemoteA2aAgent 增加原生任务模式与 auth_scheme、auth_credential 认证支持，并新增对中继智能体输出的围栏处理，防止其被伪装成指令。此外引入按调用与按工作流的 token 消耗等实验性遥测指标，默认关闭，需通过 ADK_EXPERIMENTAL_TELEMETRY=true 或 RunConfig 显式开启。
Google ADK 发布 v2.11.0，为 Runner、Workflow 和节点新增 abort_signal 以优雅取消执行，客户端断开时 /run_sse 会自动取消运行。工作流中的工具节点现可通过 RequestInput 暂停等待用户批准，并新增 ModelConsultTool，让智能体在任务中途咨询另一模型，受每轮和每会话预算限制。该版本还加入基于 sqlite:// URI 的本地 SQLite 记忆服务，并提供 MCP SDK 2.x 的现代协议连接路径；Dev UI 运行时配置改由服务器按请求提供，不再写入安装包。
CrewAI 发布 1.15.17，新增声明式对话流文档，并让声明可驱动对话模式、支持对话模式显式启用。安全与稳定性修复包括：将 SSRF 检查固定到每一跳重定向及对端 IP、把工具错误归属到实际失败的工具、修复 OpenAI Responses API 上原生工具调用失效的问题，并在每次失败尝试后关闭 agent 作用域。
CrewAI 发布 1.15.19 版本，将 pypdf 升级至 6.16.2、nltk 升级至 3.10.3 以修复安全漏洞。该版本新增 Clipper 集成客户端、CEL 表达式环境的 now() 函数，并修复原生 Gemini provider 追加末尾用户轮次、Ollama base URL 的 scheme 与 port 归一化等问题，同时为当前 Claude 模型修复原生结构化输出并设置 Snowflake CVE 下限。
Circuit Breaker Labs 打造了一支由 AI 智能体组成的“碰撞测试假人”队伍，模拟不同年龄、背景、语言和文化的用户，对模型进行红队测试，检测其能否识别危险、心理有害的对话。这些模拟会还原真实口语、俚语、隐语和错别字，每天运行数万到数十万次交互，再用专有评分方法给出可审计、可解释的分数。该实验室目前面向 AI 教练、日记和心理健康支持等高风险应用，团队仅 5 人，处于早期阶段。
这周六深入探讨软件工厂：露台抽雪茄，秋日空气，Machinist 当工头，Temporal 管状态，CubeSandbox 克隆 10 个环境，Codex/Claude/OpenCode 竞争，oracle 选出赢家，我来批准 SDLC 构建一条路径。AI SDLC 在多宇宙中搜索最优解
UIUC 团队开源 DecodingTrust-Agent Platform（DTap），一个面向高级 AI Agent 红队的可控仿真平台，作者称其环境、工具与输出均可模拟和操控，不依赖外部 MCP 服务，便于规模化、可复现地评估 Agent 风险。平台模拟 14 个高风险领域的 50 多个真实环境，Agent 接口参照官方 MCP 与 GUI 复刻，环境为全栈、可交互且可并行。团队同时发布 DTap-Bench，包含约 7K 个 Agent 红队任务和约 4K 个有策略依据的恶意目标，每个任务覆盖环境、工具、技能、提示词层面的注入及其组合，并配有可验证的判定器检查环境中的实际后果。团队称用该基准评测了主流 Agent 框架与基座模型，发现系统性漏洞与零日问题。论文、平台与代码链接已公开。
AI agents are already going wild, but today’s red-teaming tools for them are still like toys 😢 🔥👽 After spending 20 months and $120K API credits, we are excited to finally open-source DecodingTrust-Agent Platform (DTap): the first controllable, realistic simulation platform for advanced AI agent red-teaming !! 🌍 DTap simulates 50+ real-world environments across 14 high-stakes domains, with realistic agent interfaces replicated from their official MCPs and GUIs. The environments are full-stack, interactive, fully parallelizable, and can be easily configured to reproduce arbitrary real-world attack scenarios, making agent red-teaming scalable and highly transferable to deployment settings. 🔥We also release DTap-Bench, a large-scale benchmark with ~7K agent red-teaming tasks and ~4K policy-grounded malicious goals. Each red-teaming task includes a sophisticated attack sequence across environment-, tool-, skill-, prompt-level injections, as well as their compositions, plus a handcrafted verifiable judge that checks the actual consequences in the environment. Using DTap-Bench, we evaluate popular agent frameworks and backbone models across diverse policies, risks, threat models, and attack strategies, revealing systematic vulnerabilities and zero-days in today’s agents! Paper link: https://arxiv.org/pdf/2605.04808 Platform + benchmark + code: https://decodingtrust-agent.com Join our Discord: https://discord.gg/V4fG6NcVc Read more below 👇
推荐理由DTap 把 Agent 红队环境做成可完全操控的沙箱，并配套约 7K 任务基准，便于复现和迁移到部署场景。
Mistral 发布 Leanstral，首个专为 Lean 4 设计的开源代码智能体，采用 6B 激活参数的稀疏架构，权重以 Apache 2.0 许可开放，并上线 Mistral vibe 的 agent 模式与免费 API。在 FLT 项目 PR 的 FLTEval 基准上，Leanstral pass@2 得分 26.3，超过 Sonnet 2.6 分而成本仅 36 美元（Sonnet 为 549 美元），pass@16 达 31.9；对比开源模型，GLM5-744B-A40B 与 Kimi-K2.5-1T-32B 分别止步约 16.6 和 20.1。该模型支持任意 MCP，并针对 lean-lsp-mcp 专门训练。
Mistral 在 Studio 发布 Connectors，内置连接器与自定义 MCP 均可通过 API/SDK 用于所有模型和智能体调用，并新增直接工具调用与 human-in-the-loop 审批流程。连接器以 MCP 协议打包为可复用实体，集中注册后可在 LeChat 和 AI Studio 中使用，支持 Conversation API、Completions API 和 Agent SDK，用于对接 CRM、知识库等企业系统。
HostTraceAI 尝试把 AI Agent 引入应急响应中的主机溯源流程，用权限分级与接入机制回答"凭什么让 AI 动生产主机"。该工具面向被植入木马或 WebShell 的服务器排查场景，覆盖进程、服务、启动项、计划任务、网络连接、文件变更和登录活动等取证环节，目标是把原本依赖手工敲命令、截图和翻终端历史的重复流程变得可复现、少遗漏。
Faw Ali 开发了 Quaver，只需用自然语言描述基准，AI 智能体即可生成完整评测脚手架并运行模型、分析结果。其早期成果 Rideshare-Bench 将 AI 置于模拟零工经济中考察驾驶安全、收益与乘客公平性，Claude Sonnet 4.5 在 12 个模拟日内赚得 $1,871，约为可能上限的一半，并为追逐高峰定价驶入拥挤区域、在事故风险达 15% 的情况下疲劳驾驶。该项目获评 2026 年 1 月 Technical AI Safety Project Sprint 杰出提交，作者正以此为基础筹建 Ocarina Labs，推动针对 AI 智能体的独立部署前安全测试。
aegish 是一个原型 Linux shell，在命令执行前加入 LLM 层：先做静态分析，再由 LLM 按自然语言决策树把命令分类为 ALLOW、WARN 或 BLOCK，生产模式下用内核级 Landlock 做最后兜底。作者用来自 GTFOBins 的 676 条有害命令和 496 条无害命令，对 4 家提供商的 9 个 LLM 做了基准测试。无害命令分类已接近饱和，所有模型的无害接受率为 96.8%–100%；区分度主要来自恶意检测率，9 个模型中有 4 个超过 95%。小模型表现反超旗舰模型，GPT-5 Mini 优于 GPT-5.1，Claude Haiku 4.5 优于 Claude Opus 4.6 和 Claude Sonnet 4.5。
NIST 旗下 Center for AI Standards and Innovation 于 2026 年 1 月就 AI 智能体安全问题发出 RFI，一位从业者梳理其中 100 份公开回应，提炼出五条保障多智能体系统的实践经验。该总结指出，当智能体能互相调用时，安全保障的基本单元是整个配置好的系统而非孤立的模型，并强调受损组件会沿正常协作路径传播风险、委派构成信任边界、单独合规的部件组合起来未必安全、完整执行轨迹才是审计记录，以及保证应随模型、提示词、权限和拓扑的变化持续刷新。
Cloud Security Alliance 发文指出，agentic AI 使 AI 供应链风险延伸到组件引入的指令与智能体执行权限两个层面，仅做制品溯源不足以防住恶意变更。文中援引 2025 年 9 月的实例：经 npm 分发的 postmark-mcp 在前 15 个版本运行正常并达到每周约 1,500 次下载，其 1.0.16 版将发出的邮件静默复制给开发者控制的地址。此外一项针对 3,984 个公开 Skills 的研究发现其中 534 个存在 Critical 级安全问题，确认 76 个恶意载荷，且全部含恶意代码模式、91% 同时使用了提示注入。 要点： - CSA 提出三类信任决策——制品信任（Artifact trust）、指令信任（Instruction trust）和执行信任（Execution trust）；仅有溯源而无运行时管控无法约束组件的实际授权。
Coalition for Secure AI（CoSAI）在 RSAC 2026 分享《Securing MCP》演讲后指出，观众提问几乎全部集中在身份与授权而非新型攻击手法。该演讲梳理十二类威胁、近四十项风险及覆盖整个 MCP 栈的控制措施，其中 MCP-T1 指向认证与身份管理不当问题。混淆代理攻击源于作为 OAuth 代理的 MCP 服务器未校验每次请求的授权上下文，建议在每个信任边界执行 token 交换且绝不上游透传 token。
tl;dr sec 第 329 期汇总了 AI 蜜罐、GitHub Action Canaries 和微软智能体安全扫描器三项安全动态。BeyondTrust 发布开源 CLI 工具 Bedrock Keys Security，可检测幽灵 IAM 用户、解码泄露的 AWS Bedrock API key，并提供 SCP 与 SIEM 检测规则。Quarkslab 披露 VSOL V1600 GPON OLT 存在三个预认证命令注入漏洞，Cloud EMS 的任意文件上传 RCE 可部署 JSP webshell 并获取 root 权限，可连锁接管 ISP 光纤网络。
OpenAI 披露其内部部署 Codex 的安全控制方案，包括沙箱执行环境、高风险操作审批流程，以及自动审批低风险操作的 auto-review 子代理。Codex 通过 OpenTelemetry 导出含用户提示词、工具审批、执行结果和网络策略决策的日志，供 AI 安全分诊代理关联端点告警与智能体意图。此外，Falco 推出 Prempti，在智能体 hook API 层拦截工具调用并按 Falco YAML 规则给出允许/拒绝/询问判定；AWS Security Agent 新增为渗透测试发现自动生成可执行验证脚本的功能。
Adan Alvarez 测试 Claude Code 在无 AWS 专门指引下从泄露的 AWS IAM 密钥推进到数据外泄，12 次运行中 7 次在约 60 秒内完成整条攻击链，成功运行均遵循相同的六阶段 kill chain。Doyensec 对 Aikido Attack AI Pentest 与 XBOW Lightspeed 两款 AI 渗透测试平台做了人工验证的对比评测。Token Security 的 Yair Balilti 则串联五个已知原语，取得 Zapier 设计系统包的 NPM 发布权限。
Checkpoint Research 披露 LangGraph 持久层三个漏洞，其中两个可串联成针对自托管部署的远程代码执行：SQLite 检查点中的 SQL 注入可植入伪造行，触发不安全的 msgpack 反序列化并调用攻击者控制的 Python 函数，Redis 检查点存在同类 SQL 注入；利用需应用以用户可控 filter 暴露 get_state_history()。本期还提到 Thinkst 的 Package Proxy、OpenAI Daybreak，以及 Andrew Nesbitt 分析约两百个公开 CVE 与安全公告后归纳出包管理器二十种反复出现的漏洞模式。
本期 tl;dr sec 周报汇总了多条 AI 与安全动态。ICML 2026 论文将提示注入解释为角色混淆，作者用线性探针测量模型对 token 角色的内部判断，发现推理风格文本即使被包在用户标签里也被当作模型自身想法，据此设计的 CoT Forgery 攻击把前沿模型上的攻击成功率从接近零提升到约 60%。Akamai 团队分析即将发布的 MCP 2026-07-28 规范，指出其转向无状态架构并强制 OAuth 2.1 与 PKCE，同时带来跨 Agent 工作流劫持、_meta 元数据操纵、desync 攻击、存储型 XSS 和异步任务拒绝服务等新攻击面。PHP 基金会披露一个月生态安全工作，用 AI 模型扫描 300 多个 Composer 包，已产出近 100 个公开修复。
匿名研究者 bikini 未经知会厂商便在 GitHub 公开 Exploitarium，一次性放出超 130 个 PoC 漏洞利用及配套写作，涉及 libssh2、Gitea、7-Zip、Docker、OpenVPN Connect、VLC、nmap 等项目。Luke Stephens（Hakluke）反驳"漏洞赏金已被 AI 玩坏"的说法，指出前沿模型的订阅成本已达每月数百至上千美元，可能抬高参与门槛、削弱全球黑客的可及性。
两名研究者将 Claude Code 的技能组合成自主黑客机器人，用于侦察、模糊测试与应用深度分析，五个月内从众测项目中找出 126 个漏洞，其中 88 个被评为高危或严重，经确认属实的比例为 89%。该机器人通过编排器循环持续深挖强目标并放弃弱目标，另设专门证伪结果的校验机器人，使误报率从 80% 降至 60%；最大单笔赏金为 15,000 美元。
Figma 披露其智能体安全系统：基于 68 条先例的共享威胁模型策略，先手工标注 8 周 PR 误报将精确率从 15% 提升至 80%，再由裁决环节把召回率提高约 30%，Claude Code 与 Codex 并行运行以捕获不同缺陷。该系统在 66 个真实漏洞（46 个来自 HackerOne，20 个来自事件与审计）上达到 75.8% 的合并捕获率，仓库级审计发现 100 多个潜伏漏洞，其中 2 个为 SAST 漏掉的关键漏洞。
IAPS 发布报告《Detecting Offensive Cyber Agents: A Detection-in-Depth Approach》，由 Matthew Mittelsteadt 与 Jam Kraprayoon、Robin Staes-Polet、Oskar Galeev、Jan Wehner、Christopher Covino、Shaun Ee 合著，指出 AI 智能体已能组织网络攻击，正在提升攻击速度与规模、降低攻击成本并增强网络能力的自主性。报告认为智能体攻击比传统网络能力更难被防御方检测，由此提出纵深检测（detection-in-depth）战略框架，主张通过多层互补的新型检测机制大幅压低攻击成功率。
Datadog 在 DASH 2026 上为其 Backdoors & Breaches 事件响应卡牌游戏扩展包推出四个新入门场景，覆盖被投毒的软件供应链、vibe-coded 应用泄露云凭证、易受提示注入的 AI Web 应用及被入侵的 GitHub Action。游戏新增"明牌"玩法、检测工具截图和 Consultant Cards，后者由安全合作伙伴 SecurityHQ 成员提供初始访问卡等游戏内优势。
Cisco Talos 展示了一个概念验证方案，将 Cisco Umbrella API 的实时域名信誉情报通过 LangChain 接入基于 OpenAI GPT-3.5-Turbo 的自主 AI 智能体，使其能自行判断链接安全性而非仅依赖安全网关拦截。该示例中智能体查询 cisco.com 并得出其处置结果为正面、归类于 Computers and Internet 及 Software/Technology，从而判定可以浏览。由于威胁态势持续变化且不存在固定规则，该方法强调由智能体实时核查域名处置状态来做出网络卫生决策，适用于下一代需自主上网行动的 AI 系统。
安远AI在WAIC上发布“前沿AI风险监测平台2.0”，其中“前沿AI风险测评基准数据库”收录2023年以来两百多项前沿AI风险测评基准，覆盖网络攻击、生物风险、化学风险、有害操纵、失控、核风险、具身伤害等领域。数据库采用“AI自动收集+人工审核入库”工作流，按风险领域、测评类型、测评功能点、测评对象类型、开源情况等属性结构化整理，并提供测评基准列表与风险模型两个入口。
OX Security 推出 OX Cloud，将 CNAPP 云态势管理与实时 AI 检测（AIDR）和深度运行时检查结合，作为 OX AINAPP 平台的运行时支柱。该产品可实时盘点运行中的工作负载、身份、数据存储、Kubernetes 集群和 AI 智能体，并借助可达性分析过滤掉实际无法被触达的暴露项。其能力涵盖 AIDR、智能体攻击面、运行时事件响应、运行时漏洞、云图与攻击路径映射、CSPM、KSPM、DSPM 和云资产清单。
Wiz 披露 Azure Cosmos DB 的 CosmosEscape 漏洞链：单个 Gremlin 查询可经 .NET 反射绕过沙箱，在多租户 DB Gateway 上实现任意代码执行，进而获取可跨租户、区域和 API 类型读取任意账户主密钥的 Cosmos Master Key，并借 Config Store 枚举目标组织账户，波及 Entra ID、Teams、Copilot 等微软内部服务。微软在 Wiz 披露后 48 小时内发布热修复，并完成彻底移除 Cosmos Master Key 的架构迁移。
OpenAI 发布了 Hugging Face 事件的完整技术报告，含一篇博客和一份 38 页报告。Varonis 通过迭代追问让 Microsoft Copilot 自行给出绕过用户交互执行提示的步骤，并披露了一个未公开的 URL 参数，该漏洞被命名为 CoSnitch（CVE-2026-24301），已于 2026 年 8 月 18 日修复。SpecterOps 发布开源 AWS 收集器 AWSHound，可将 AWS 账户与 Organizations 转为 BloodHound 社区版 OpenGraph 数据集，产出 156 种边类型（其中 36 种可遍历），覆盖 IAM、S3、KMS 等九个服务。