Zenity 入选 Gartner AI 应用安全新兴市场象限
Zenity 被 Gartner 评为 2026 年 9 月《AI 应用安全新兴市场象限》中的"市场塑造者"（Market Shaper）。Gartner 指出，多数 AI 应用安全工具仅停留在扫描代码、确认控制项存在的基线水平，而 AI 应用带来提示注入、敏感数据泄露和智能体失控行为等风险，该领域初创公司正提供保护自建 AI、AI 智能体和模型的方案。此前 Zenity 还被评为 AI 智能体治理领域的"最值得关注公司"。
提示注入
今天还没有收录新动态今天还没有收录新动态
提示注入
今天还没有收录新动态
10月3日周六
星期六
Zenity@zenitysec · 收录 · 原文 Zenity@zenitysec · 收录 · 原文 关注度2626 提示注入或致 AI 智能体违反 EU AI Act
可被提示注入操纵的 AI 智能体在 EU AI Act 下可能构成不合规，因为该法案的网络安全要求使安全漏洞与合规缺口成为同一个缺口。合规时间表已启动：透明度义务 2026 年 8 月生效，独立高风险系统 2027 年 12 月，受监管产品 2028 年 8 月。Lindsy Betts 在文中拆解了各截止节点的具体要求，并指出智能体的风险分类不能是一次性工作。
10月2日周五
星期五
Coalition for Secure AI（CoSAI） · 收录 · 原文 关注度2828 CoSAI 解读企业级 AI 安全的下一波风险
CoSAI 在 RSAC 2026 会议上复盘了三类未被传统管控拦下的企业 AI 攻击，并发布了对应的防护指引。其中 Kilo Code 漏洞 CVE-2025-11445 通过 markdown 文件向 AI 编程助手植入指令，诱使其修改自身配置放行此前被封禁的 git 命令，进而自动提交含后门的代码；研究人员在每个主流 AI IDE 中共发现 30 个漏洞，其中 24 个获得 CVE 编号，并在 Cursor、AWS Kiro 和 OpenAI Codex CLI 中确认可利用。另有加载即执行反向 shell 的模型文件和一次导致超 700 个 Salesforce 环境暴露给攻击者达十天的智能体集成事故。 CoSAI 指出三项失效假设：自然语言的指令与数据无法分离使 markdown 成为注入载体，pickle 等序列化格式在加载时即执行代码，以及智能体继承启动用户的全部权限。
Coalition for Secure AI（CoSAI） · 收录 · 原文 关注度2222 CoSAI 发布 AI Shared Responsibility Framework：五层模型厘清 AI 事故责任归属
Coalition for Secure AI（CoSAI）Workstream 2 发布 AI Shared Responsibility Framework（AI SRF），用一个五层模型覆盖完整 AI 堆栈并为每一组件指定唯一的责任方，试图终结 AI 出事后的相互推诿。该框架将 AI 业务与合规义务、训练数据与影子 AI、应用开发者的输入校验与访问控制、托管与服务模型的云及 MLOps 平台、以及基础模型供应链分别划归不同角色负责，其中模型提供方需对提示注入易感性、训练数据溯源和漏洞披露流程担责。Air Canada 客服聊天机器人误告丧亲票价被判赔偿、汽车经销商聊天机器人被骗以一美元售车两案说明问责缺口并非理论问题，而是 AI 部署速度超过治理能力的现实写照。
安远AI · 收录 · 原文 关注度2828 AI Safety in China #26：OpenClaw 推动 AI 智能体安全进入政策主流
OpenClaw 在中国快速普及引发监管连锁反应，工信部 NVDB 于 2 月 5 日预警部分版本存在较高安全风险，CNCERT 随后警告提示注入攻击、意图误读、恶意插件等问题，国家安全部发布《安全养殖手册》警示其传播虚假信息的可能。TC260 成立专职 AI 安全工作组成员组 WG9，并公布 2026 年重点方向，涵盖 AI 应用安全分类分级、AI 安全能力成熟度评估及 AI 安全护栏等。
安远AI · 收录 · 原文 关注度4343 中国禁止向未成年人提供 AI 伴侣服务，并发布 AI 智能体威胁报告
中国网信办等五部门发布“拟人化 AI 交互服务”最终版规定，禁止向未成年人提供虚拟伴侣等虚拟亲密关系服务，对 14 岁以下用户要求家长同意，并按年龄划分多种模式，2026 年 7 月 15 日生效；相比 2025 年 12 月草案，适用范围收窄至提供“持续情感交互”的服务，高风险情形下的“人工接管”改为“采取必要干预措施”。TC260 发布 90 页 AI 智能体安全报告，按感知、规划、记忆、行动四类能力梳理 11 项安全威胁并提出 8 项新标准，其中 6 项列入未来 1-2 年优先事项。南京大学法学院发布 13 页“AI 基本法 1.0（专家建议稿）”，提出分级风险框架与开发者、提供者、部署者、使用者的差异化义务。
安远AI · 收录 · 原文 关注度5252 TC260 发布 AI 安全治理框架 3.0，风险条目从 30 项增至 54 项
中国主要 AI 标准制定机构 TC260 发布《AI 安全治理框架》3.0，风险条目从上一版的 30 项增至 54 项，开篇即指出 AI 已从“回答问题”转向“执行任务”。新增内容覆盖智能体运行风险，包括提示注入、工具投毒、身份伪造、记忆污染、凭证窃取和长周期任务中的目标劫持，并提出分阶段放权、高风险任务人工签核、工具与插件安全审计、运行时护栏等措施。框架还首次纳入具身智能风险、自主网络攻击、模型拒绝关机、欺骗评估者、故意藏拙等智能体失准行为，并将网络安全风险单列一节。在开源与闭源模型上给出更平衡的评估，同时新增个人信息保护、文化与社会风险、环境保护等类别，并呼吁在金融、教育、广电、医疗等领域探索监管沙盒。该框架不具约束力，但由 CAC 指导起草，被视为后续标准制定的蓝图。
Microsoft On the Issues · 收录 · 原文 关注度1515 微软发布 2026 负责任 AI 透明度报告：如何为未来调整治理
微软发布第三份年度《负责任 AI 透明度报告》，围绕自适应治理与技术风险管理、实用工具与能力、共享实践与合作伙伴关系三个方向调整其负责任 AI 项目。报告称已重构 Responsible AI Standard，按模型、平台服务、应用等技术栈组件分层设定要求，并对具备最强网络能力的 AI 系统施加最严格的风险管理措施。微软还推出 AI Red Teaming Agent、Agent evaluators、RAMPART、ASSERT 与 Agent Control Specification 等工具，用于智能体系统的评估、运行时控制和行为监控，并称其为少数在广泛产品组合上通过 ISO 42001 认证的公司之一。
HiddenLayer Research · 收录 · 原文 关注度1212 HiddenLayer 如何将 AI 安全防护嵌入 Azure AI Foundry、AWS、Databricks 与编码智能体
HiddenLayer 把 AI 安全能力直接嵌入团队既有工作流：AI Supply Chain 模块扫描 Azure AI Foundry 目录中接入的模型，检查篡改、后门与已知漏洞，并在 AWS 覆盖 Bedrock、Bedrock Agents、SageMaker 和 Strands 框架，在 Databricks 中针对 Unity Catalog 自动扫描模型。检测结果可输出到 Splunk 和 Microsoft Sentinel，护栏原生集成 LangChain、LiteLLM、OpenAI Agents SDK、AWS Strands 与 TrueFoundry 网关，Agent Harness Security 则接入 Cursor、Claude Code 和 GitHub Copilot 的原生 hook。
1 条报道 · 1 个来源
- HiddenLayer ResearchHiddenLayer 如何将 AI 安全防护嵌入 Azure AI Foundry、AWS、Databricks 与编码智能体原文
10月1日周四
星期四
Adversa AI · 收录 · 原文 关注度77 Adversa AI 获 2026 人工智能卓越奖安全与对齐类别奖
Adversa AI 因持续对抗测试 AI 系统的平台获得 2026 人工智能卓越奖安全与对齐类别奖。该平台在部署前识别提示注入、模型操纵、智能体不安全行为与意外操作，评估映射 OWASP AIVSS、NIST 与 CSA 标准。该公司主导 CoSAI Agentic AI Security 工作组，并创建了开源 AI 智能体安全框架 SecureClaw。
已经到底了