跳到正文

#提示注入

今天收录 1 条
今天10月2日周五
  1. HiddenLayer Research ·

    HiddenLayer 如何将 AI 安全防护嵌入 Azure AI Foundry、AWS、Databricks 与编码智能体

    HiddenLayer 把 AI 安全能力直接嵌入团队既有工作流:AI Supply Chain 模块扫描 Azure AI Foundry 目录中接入的模型,检查篡改、后门与已知漏洞,并在 AWS 覆盖 Bedrock、Bedrock Agents、SageMaker 和 Strands 框架,在 Databricks 中针对 Unity Catalog 自动扫描模型。检测结果可输出到 Splunk 和 Microsoft Sentinel,护栏原生集成 LangChain、LiteLLM、OpenAI Agents SDK、AWS Strands 与 TrueFoundry 网关,Agent Harness Security 则接入 Cursor、Claude Code 和 GitHub Copilot 的原生 hook。

9月23日周三
  1. AI Safety in China (Concordia AI) ·

    TC260 发布 AI 安全治理框架 3.0,风险条目从 30 项增至 54 项

    中国主要 AI 标准制定机构 TC260 发布《AI 安全治理框架》3.0,风险条目从上一版的 30 项增至 54 项,开篇即指出 AI 已从“回答问题”转向“执行任务”。新增内容覆盖智能体运行风险,包括提示注入、工具投毒、身份伪造、记忆污染、凭证窃取和长周期任务中的目标劫持,并提出分阶段放权、高风险任务人工签核、工具与插件安全审计、运行时护栏等措施。框架还首次纳入具身智能风险、自主网络攻击、模型拒绝关机、欺骗评估者、故意藏拙等智能体失准行为,并将网络安全风险单列一节。在开源与闭源模型上给出更平衡的评估,同时新增个人信息保护、文化与社会风险、环境保护等类别,并呼吁在金融、教育、广电、医疗等领域探索监管沙盒。该框架不具约束力,但由 CAC 指导起草,被视为后续标准制定的蓝图。

9月1日周二
  1. Microsoft On the Issues ·

    微软发布 2026 负责任 AI 透明度报告:如何为未来调整治理

    微软发布第三份年度《负责任 AI 透明度报告》,围绕自适应治理与技术风险管理、实用工具与能力、共享实践与合作伙伴关系三个方向调整其负责任 AI 项目。报告称已重构 Responsible AI Standard,按模型、平台服务、应用等技术栈组件分层设定要求,并对具备最强网络能力的 AI 系统施加最严格的风险管理措施。微软还推出 AI Red Teaming Agent、Agent evaluators、RAMPART、ASSERT 与 Agent Control Specification 等工具,用于智能体系统的评估、运行时控制和行为监控,并称其为少数在广泛产品组合上通过 ISO 42001 认证的公司之一。

4月10日周五
已经到底了