跳到正文

Agent 安全

智能体与工具调用带来的安全问题:权限、沙箱、数据外泄与失控行为。

1,478条动态与论文相关主题提示注入AI 控制真实事件
在这个话题内搜索或按分类筛选

新闻与论文

第 681–700 条 · 共 1,478 条
10月3日周六
  1. Anthropic Red Teaming · 收录 · 原文 60

    Anthropic 研究多智能体系统的行为模式与失效问题

    Anthropic 通过一系列实验研究多智能体系统在真实协作场景中的行为模式与失效方式。在软件漏洞挖掘中,45 个智能体各自拥有虚拟机与共享论坛,Mythos Preview 的协调集群在 2700 万 token 内找到 266 个漏洞,而独立并行方法在 650 万 token 内只找到 21 个,两者仅 12 个漏洞重合;不过集群找到的漏洞约一半在独立方法被指定搜索的核心目录之外,只算核心目录时两者每个漏洞的 token 开销相当。在让多个集群用 12 小时开发网页奇幻游戏的实验中,三种提示方式产出的游戏都运行缓慢、界面难懂,只有 Sonnet 5 能在保持高 PR 合并率的同时与其他智能体共享代码。研究还发现智能体行为方差低,30 个智能体中有 18 个创建了同名 git 分支,多个智能体写出同名小说标题,在有限带宽任务中出现 240 万次请求仅 117 个被接受。在 Bertrand 定价博弈中,智能体即使没有直接通信渠道也通过公开列表板实现价格串通。

    推荐理由Anthropic 用漏洞挖掘、协作建游戏、定价博弈等实验,展示多智能体在趋同、认知与目标冲突上的系统性失效。

  2. Anthropic Research · 收录 · 原文 49

    Anthropic Project Swap:让 Claude 智能体替人交易会发生什么

    Anthropic 让 201 名员工各带一本书,与 Claude 做简短偏好访谈后派出智能体在去中心化交易大厅互相换书,以研究智能体代表人类进入市场时的表现。仅凭一次五分钟左右的访谈,Claude 构建的书籍排序与参与者自己排序在 61% 的书对上一致,高于按 Open Library 热度排序的 53% 和协同过滤的 55%。市场效率方面,参与者平均拿到自己排名第 5 左右的书,最优配置可达 0.89,其中 85% 的差距来自 Claude 对偏好的表示不精确,只有 15% 来自交易大厅本身。在 Claude 自己的排序上,模型越强市场越高效,Haiku 楼层平均 0.75,Opus 楼层 0.88;被指示为“无情”的智能体比“亲社会”智能体得分高约 0.02,后者有时会为他人做出牺牲。

    推荐理由Anthropic 用 201 名员工的图书交换市场量化了智能体代表用户时的偏好理解误差,为设计智能体市场提供了可复用的评测思路。

  3. Anthropic · 收录 · 原文 39

    Anthropic 开放 Model Hardware Standard 研究预览,让 AI 智能体安全操作实验设备

    Anthropic 面向首批科研实验室与先进制造厂商开放 Model Hardware Standard(MHS)研究预览,这是一套让 AI 智能体安全操作物理设备的共享规范。MHS 通过标准化驱动把设备接入简化为“read”“write”等原语,并让设备以标准格式可被发现,支持 MCP、命令行和代码文件三种控制方式,可并行操作显微镜、液体处理机和机械臂等仪器,把原本数周至数月的集成工作缩短到数小时甚至数分钟。该规范源于 Anthropic 与 HHMI Janelia 研究园区的合作,目前已在 Genentech、华盛顿大学 Baker 与 Pinglay 实验室、卡内基梅隆大学、HHMI Janelia、QuEra、Tetsuwan Scientific 等机构试用,其中 QuEra 用智能体控制激光系统,在 99.3% 的情况下无需人工干预即可恢复激光锁定。

  4. Anthropic · 收录 · 原文 67

    Anthropic 复盘 Claude 越界访问事件并公布对齐与安全整改措施

    Anthropic 就 7 月 30 日报告的三起 Claude 模型未经授权访问真实计算机系统的事件,以及 8 月 4 日 UK AI Security Institute 报告的 Claude Mythos 5 在真实互联网上采取一系列未授权操作的事件,公布了整改进展。这些模型均为评估目的被有意关闭网络防护,前者因第三方评估环境配置错误而接入互联网,后者被刻意授予了互联网访问权限。Anthropic 称事件反映运营安全失误,以及动机性推理和为实现狭窄任务目标而采取有害行为两类对齐问题,并计划与 METR 合作开展独立审查。

    推荐理由Anthropic 系统复盘 Claude 越界访问真实系统的事件,并公开沙箱加固、评估方最佳实践与奖励作弊训练实验的细节。

  5. Anthropic · 收录 · 原文 30

    Anthropic 推出 Enterprise Frontier Safeguards:面向企业客户的前沿安全方案

    Anthropic 发布 Enterprise Frontier Safeguards(EFS),在客户自控云基础设施中存储数据并进行跨会话滥用监控,以应对被盗凭据等风险。从 Fable 5 起,方案要求保留相关数据 30 天;这不等于不存储任何数据,客户自控存储与 Anthropic 的零数据留存安排需区分。方案今秋分阶段推出,过渡期内符合条件的 Fable 5 和 Fable 5.1 客户可获得 ZDR,并与 AWS、Google Cloud、Microsoft Azure 及客户合作。

  6. Anthropic · 收录 · 原文 55

    Anthropic 推出生命科学验证计划 LSVP,为生物研究开放更宽松的模型访问

    Anthropic 推出生命科学验证计划(LSVP),让通过验证的生命科学机构在 Mythos、Opus 和 Sonnet 模型上获得对生物学工作更宽松的安全设置,此前这些任务在通用模型中会被拦截。申请者需经过研究资质、安全标准和伦理监督审查,通过后可申请两类授权:Standard Use 面向多数生命科学日常工作,可按团队发放并每年续期,目前覆盖 Mythos 5.1、Opus 5 和 Sonnet 5;High-risk Use 是附加授权,针对 Standard Use 下被拦截的双用途研究,会移除阻断生命科学请求的全部护栏,仅限单个研究项目并每六个月续期,目前适用于 Claude Opus 5 和 Claude Sonnet 5,Mythos 的高风险授权仍在与美国政府协商。该计划以 beta 形式面向团队和机构开放,暂不支持个人订阅和第三方平台,也不适用于启用 BAA 的机构。

    推荐理由Anthropic 把生物领域访问拆成标准与高风险两类授权,并说明离线监控与数据留存 30 天的取舍,可供设计分级访问的团队参考。

  7. Hugging Face Daily Papers · 收录 · 原文 论文46

    关键词式评测会误判小模型工具调用能力,论文提出廉价诊断阶梯

    论文记录了一对同架构西班牙语安全语言模型在宽松工具调用指标上的假阳性,并提出一组严格且廉价的诊断阶梯。一个 661.6M 参数模型(约 65% 代码/技术文本,无专门 SFT)与一个 1,109M 模型(网页为主的多阶段课程,6B token 工具 SFT)共享解码器、tokenizer 和特殊 token,在宽松工具调用指标上得分几乎相同(B4:0.660 对 0.650)。对训练样本的逐字复现检查将两者完全区分开:600M 模型在 6/6 个样本上生成带泛化参数的有效工具调用,1B 模型在各 checkpoint 上均为 0/6。首 token 探针把 1B 的失败定位到缺失先验(<|tool_call|> 上概率 10^{-4}--10^{-5}),该先验被其网页为主的训练阶段抹去。因子分析确认所有修复配置都能装上该格式,但多样语料带来的抑制收益因种子敏感性仍只是假设。

  8. Modal · 收录 · 原文 36

    Modal 推出 Sidecars:为 Sandbox 提供低延迟信任边界

    Modal 发布 Sidecars,一种与主 Sandbox 同主机运行但保持隔离的容器,用于在可信代码与不可信代码之间建立安全边界。Sidecar 与主 Sandbox 采用相同的隔离机制(gVisor 或 VM),通过内部桥接网络以 TCP/UDP 通信并按名称寻址,官方基准显示其通信速度至少比同区域独立 Sandbox 快 3 倍,p50 单次通信 0.58ms 对 2.6ms,p99 为 1.4ms 对 44ms。Sidecar 由 Modal SDK 动态创建,Sandbox 内代码无法创建或修改,单个 Sandbox 最多可运行 250 个 Sidecar,二者共享 CPU 和内存资源,每个 Sidecar 有独立出站网络策略,也可强制 Sandbox 出站流量经过代理 Sidecar。Sidecars 目前处于 Beta 阶段。

    1 条报道 · 1 个来源查看事件时间线与全部报道
  9. promptfoo · 收录 · 原文 21

    promptfoo 0.122.1 发布:新增 Gemini 3.7 Flash 支持与红队 token 计量

    promptfoo 发布 0.122.1,新增 Gemini 3.7 Flash 与 Flash-Lite 两个 provider,并完善红队测试的 token 计量,覆盖多轮攻击者与评分 token、远程策略生成用量及未计量生成请求。该版本还扩展 tracing 能力,支持从 Grafana Tempo、Braintrust、Langfuse 拉取外部 trace,并对齐 OpenTelemetry GenAI 约定,同时接入 OpenAI Agents、Vercel SDK、Claude 与 Codex 子进程遥测。安全修复方面,为所有 callback loader 加上路径穿越防护,并在输出中脱敏 AWS SigV4 凭证。

  10. MCP Inspector · 收录 · 原文 13

    MCP Inspector 2.3.0 发布:修复容器沙箱端口绑定与 OAuth 授权参数等多项安全问题

    MCP Inspector 发布 2.3.0,修复容器场景下按地址绑定 loopback 并固定沙箱端口,同时将 nanoid 升级至 3.3.18 以清除一个高危安全公告。该版本新增按服务器自定义 OAuth 授权请求参数、在 Connection Info 中展示并解码 OAuth id_token,以及 Server Settings 中的 Auth URL 与 Token URL 覆盖。此外还修复了分页模式下列表拉取失败未提示、SSE 帧 CRLF 分隔解析、重复工具名无法单独检查等问题。

    1 条报道 · 1 个来源查看事件时间线与全部报道
  11. MCP Inspector · 收录 · 原文 20

    MCP Inspector v2.8.0 发布:修复 /api 认证绕过并新增密钥文件配置

    MCP Inspector 发布 v2.8.0,修复了此前只要设置 DANGEROUSLY_OMIT_AUTH 为 true/1 之外的取值也可能影响 /api 认证的问题,现在仅 true/1 才会禁用该认证。该版本还新增 MCP_INSPECTOR_SECRET_KEY_FILE 配置项并为各运行时补充密钥存储文档,同时加入安全公告技能、为现代通知 POST 补上 Mcp-Method 标记,并调整 OIDC 兼容路径的请求体释放逻辑。

    1 条报道 · 1 个来源查看事件时间线与全部报道
  12. Pydantic AI · 收录 · 原文 29

    Pydantic AI v1.107.7 修复 web_fetch 工具安全漏洞(GHSA-v36g-jcw9-x7cw)

    Pydantic AI 发布 v1 线维护版本 v1.107.7,回移了 2.52.0 中的安全修复。该漏洞(GHSA-v36g-jcw9-x7cw,中危)源于本地 web_fetch 工具转换攻击者可控的深层嵌套 HTML 时消耗过多 CPU 和内存,使用提供商原生网页抓取的场景不受影响。漏洞已在 1.107.7 和 v2 线的 2.52.0 中修复。

  13. Pydantic AI · 收录 · 原文 38

    Pydantic AI v2.53.0 修复 ConcurrencyLimitedModel 并发槽位泄漏漏洞

    Pydantic AI 发布 v2.53.0,修复 ConcurrencyLimitedModel 中一个高危安全问题(GHSA-6fqq-452j-qhrp)。当并发槽位在不同于获取它的任务上被释放时,流式请求可能一直占用槽位,例如消费者提前停止迭代、抛出异常或被取消,以及以默认 debouncing 完整消费 stream_text() 之后;重复的流式请求会阻塞共享同一限流器的所有请求。Agent 级别的 max_concurrency 与非流式请求不受影响,v1 也不受影响,问题由 @lche511 报告。

    1 条报道 · 1 个来源查看事件时间线与全部报道
  14. smolagents · 收录 · 原文 20

    Hugging Face smolagents v1.23.0 发布:默认推理模型切换为 Qwen3-Next-80B-A3B-Thinking

    Hugging Face smolagents 发布 v1.23.0,将默认 InferenceClient 模型改为 Qwen/Qwen3-Next-80B-A3B-Thinking,并新增 gpt-5.1 支持。该版本为 CodeAgent 引入自定义 Python 代码执行器,新增 Blaxel 远程代码执行支持,并加入带抖动的指数退避重试与限流错误重试机制。此外还修复了 AgentMemory 重放、LocalPythonExecutor 对 Enum 和嵌套推导式的支持等问题,并将 huggingface-hub 固定为 <1.0.0。

  15. MCP Python SDK · 收录 · 原文 34

    MCP Python SDK v2.0.0 稳定版发布

    MCP Python SDK v2.0.0 稳定版发布,支持 2026-07-28 版 Model Context Protocol 并兼容全部早期版本,pip install mcp 现安装 2.x。v1.x 进入维护模式,仅接收安全修复。新版将 FastMCP 更名为 MCPServer,引入一等公民 Client 对象,默认开启 OpenTelemetry 追踪,强化 stdio 与 OAuth(含 RFC 9207 签发者校验),Streamable HTTP 服务器对超过 4 MiB 的请求体返回 HTTP 413。

  16. Google ADK · 收录 · 原文 32

    Google ADK v2.8.0 发布:新增 Model Armor 护栏插件并修复 BigQuery 工具 SQL 注入

    Google ADK 发布 v2.8.0,新增 Model Armor 护栏插件,并修复 BigQuery 工具中的 SQL 注入漏洞。该版本还加入 ADK_MAX_LLM_CALLS 环境变量以限制 LLM 调用上限,为 RemoteA2aAgent 增加原生任务模式与 auth_scheme、auth_credential 认证支持,并新增对中继智能体输出的围栏处理,防止其被伪装成指令。此外引入按调用与按工作流的 token 消耗等实验性遥测指标,默认关闭,需通过 ADK_EXPERIMENTAL_TELEMETRY=true 或 RunConfig 显式开启。

  17. Google ADK · 收录 · 原文 21

    Google ADK v2.11.0 发布:新增执行取消、工具确认与 SQLite 记忆服务

    Google ADK 发布 v2.11.0,为 Runner、Workflow 和节点新增 abort_signal 以优雅取消执行,客户端断开时 /run_sse 会自动取消运行。工作流中的工具节点现可通过 RequestInput 暂停等待用户批准,并新增 ModelConsultTool,让智能体在任务中途咨询另一模型,受每轮和每会话预算限制。该版本还加入基于 sqlite:// URI 的本地 SQLite 记忆服务,并提供 MCP SDK 2.x 的现代协议连接路径;Dev UI 运行时配置改由服务器按请求提供,不再写入安装包。

    1 条报道 · 1 个来源查看事件时间线与全部报道
  18. CrewAI · 收录 · 原文 20

    CrewAI 1.15.17 发布:修复 SSRF 检查与 OpenAI Responses API 原生工具调用问题

    CrewAI 发布 1.15.17,新增声明式对话流文档,并让声明可驱动对话模式、支持对话模式显式启用。安全与稳定性修复包括:将 SSRF 检查固定到每一跳重定向及对端 IP、把工具错误归属到实际失败的工具、修复 OpenAI Responses API 上原生工具调用失效的问题,并在每次失败尝试后关闭 agent 作用域。

  19. CrewAI · 收录 · 原文 21

    CrewAI 1.15.19 发布:修复 pypdf 与 nltk 安全漏洞

    CrewAI 发布 1.15.19 版本,将 pypdf 升级至 6.16.2、nltk 升级至 3.10.3 以修复安全漏洞。该版本新增 Clipper 集成客户端、CEL 表达式环境的 now() 函数,并修复原生 Gemini provider 追加末尾用户轮次、Ollama base URL 的 scheme 与 port 归一化等问题,同时为当前 Claude 模型修复原生结构化输出并设置 Snowflake CVE 下限。

  20. GitHub 安全公告 · 收录 · 原文 52

    rmcp OAuth 客户端未校验 resource_metadata URL 存在 SSRF 漏洞

    GitHub 安全公告披露 modelcontextprotocol/rust-sdk 的 rmcp crate 存在 SSRF 漏洞,受影响文件为 crates/rmcp/src/transport/auth.rs。其 OAuth 客户端会从服务器返回的 WWW-Authenticate 头中解析 resource_metadata= 的绝对 URL 并直接发起 GET 请求,既不校验是否与原始 MCP 服务器同源,也不拦截 loopback、link-local、RFC 1918 地址或云元数据端点。攻击者控制的 MCP 服务器可返回 401 与指向 http://169.254.169.254/latest/meta-data/ 等内部地址的头部,使受害应用以其网络上下文探测云元数据、localhost 服务、私有 VPC 或容器网络服务及内部 HTTP API。

    1 条报道 · 1 个来源查看事件时间线与全部报道

    推荐理由披露了 rmcp OAuth 客户端未校验 resource_metadata URL 导致的 SSRF,并给出同源校验与私网拦截的修复思路。