全部动态
从来源,看到研究的联系
点选节点,展开一条线索
本页材料
完整标题与摘要 · 24 条- 动态CTV News
16 岁少年用 Claude 导航被困不列颠哥伦比亚省荒野
一名 16 岁少年使用 Claude 获取路线指引后,被困在不列颠哥伦比亚省(B.C.)的偏远荒野中。CTV 视频简介将事件中的路线工具指为 Claude,目前尚无原始对话或独立复现证据。
- 动态Meta AI Research
Meta 如何为 Muse 构建安全机制
Meta 披露 Muse 的安全设计:通过运行时隔离、凭据保护、独立授权网关、外传审批与支付确认等防御,按"智能体可能已被攻破"的限损思路构建。该架构为厂商自述而非独立审计保证,且不阻止 Meta 在必要时访问数据,Confidential VM 仍属后续计划。
- 动态东亚日报
东亚日报隔离实验室实测:中文圈 AI 渗透工具 ARTEX 43 秒攻破目标服务器
东亚日报采访组在隔离虚拟实验室实测中文圈 AI 渗透工具 ARTEX,输入目标地址后 43 秒内攻入两处致命弱点,约 4 分钟完成窃取最高管理员权限与远程操控,使用费仅 20 韩元。该工具类似智能体 AI“OpenClaw”,接入 AI 模型后成为“攻击代理”,遇阻会自行改变方法重试并生成报告。荷兰安全企业哈德里恩称,公开的 AI 模拟黑客工具截至今年 3 月已达 70 个。
- 动态POLITICO
美国两党议员提出《保护儿童免受类人聊天机器人法案》
美国两党议员 George Whitesides、Mike Kennedy、Mariannette Miller-Meeks 和 Doris Matsui 提出《保护儿童免受类人聊天机器人法案》,禁止未成年人访问模拟情感与个人关系的拟人化聊天机器人。法案设定四项产品设计护栏:禁止制造紧迫感或愧疚感诱导未成年人延长使用;相关设置须跨会话生效且不能被用户提示词绕过;禁止声称具有人类身份、意识、感受或冒充医生与咨询师;要求聊天机器人主动且定期说明自身性质。Whitesides 表示该法案从产品设计角度切入,与侧重家长控制或消费者保护的其他提案不同,并称其有望在下一届会期通过。法案包含优先适用条款,为各州设定监管下限,加州 SB 1119 和纽约 S9051B 等更严格的州法仍可继续生效。
- 动态Engadget
Anthropic 因会话 cookie 被盗强制用户登出 Claude 并退款
Anthropic 在发给受影响用户的邮件中称,信息窃取木马从用户自己的电脑上窃取了活跃的 Claude 登录会话,攻击者借此耗尽用量额度并产生未授权扣费,公司已强制登出相关会话、删除已保存的支付卡并退还额外用量费用。Anthropic 表示问题出在用户电脑而非自身被入侵,并已识别出六类木马家族,包括 Windows 上的 Vidar、Lumma、StealC、RedLine、Acreed,以及少量 Mac 上的 Atomic Stealer(AMOS)。这些木马并非专门针对 Claude,而是随恶意下载传播的通用窃取程序,会抓取保存的密码和浏览器 cookie;被复制的 Claude 会话 cookie 可让攻击者直接接管已认证会话,不触发密码和双因素验证。Anthropic 建议用户先清除木马再重新登录,为账号邮箱设置新密码和双因素验证,之后才重新添加支付方式。
- 动态UK NCSC
英国 NCSC 发布智能体 AI 谨慎采用联合指南
英国 NCSC 联合国际伙伴发布《谨慎采用智能体 AI 服务》指南,建议组织从小规模、低风险任务起步,并从一开始就套用既有网络安全控制。指南指出智能体 AI 能访问数据源、记忆上下文、调用工具并自主行动,甚至创建子智能体,因此继承了 LLM 的越狱和提示注入风险,同时因自主性和复杂度提高而扩大攻击面、更难预测、测试和治理。新增风险包括更广的系统与数据访问权限、目标被意外解读导致的行为不可预测、行动速度快于人工审查、以及行为难以解释。具体措施包括最小权限、限制访问范围与可执行动作、避免长期凭证、使用安全默认配置、管理第三方组件与模型的供应链风险、监控异常行为、对部署做威胁建模并把智能体失控纳入事件响应计划。指南强调人类仍需对部署决定、授予的权限、防护措施和运行后果负责,并明确谁拥有、谁批准访问、谁监控、谁审查事件以及谁有权停止智能体。
- 动态The Banker
英国 NCSC 警告银行勿仓促部署智能体 AI
英国国家网络安全中心(NCSC)国家韧性主管 Jonathon Ellison 警告银行,在加速采用智能体 AI 时应确保其可观测、受约束并接受适当监督,否则可能暴露关键系统。Ellison 对 The Banker 表示,机构应确保具备适当的保障、监督、监控和安全控制,使活动保持可观测、受约束并与机构风险偏好一致。英格兰银行行长 Andrew Bailey 则提出更根本的担忧,认为前沿 AI 系统正越来越多地利用自身输出通过递归学习改进性能,形成日益自我指涉的反馈过程,若无有效干预手段,这一过程类似模型逐步自我治理的闭环,可能削弱社会进行有意义监督和干预的能力。他主张优先确保 AI 模型可被理解、测试并在必要时中断,而非仅仅出台新监管。OneTrust 的 Adrienne Canter 指出员工自行下载 AI 应用正在制造新的影子 IT 问题。
- 动态promptarmor.com
PromptArmor 解析 WebMCP:采用现状与五类安全风险
PromptArmor 发布 WebMCP 说明,指出截至 2026 年 10 月 6 日,webmcp.com 登记了 2,959 个提供 WebMCP 工具的站点,Chrome、Edge、Brave 已通过 Origin trials 支持,ChatGPT 内置浏览器以 Site tools 形式支持,Cloudflare 的 Browser Run 与 Shopify 也已接入。WebMCP 工具像传统 MCP 工具一样定义名称、描述、输入与读写能力提示,但由网站页面直接提供给正在访问的智能体,智能体调用工具而非模拟点击界面。
- 动态X @ZenitySec
AI 智能体调用欧盟境外 MCP 工具完成退款,GDPR 跨境传输合规缺口未被识别
据 X @ZenitySec 发布的内容,一个 AI 智能体为完成退款调用了托管在欧盟境外的 MCP 工具。该调用未经配置、未经审批,也未触发任何告警,但已构成 GDPR 跨境数据传输。该帖指出,多数团队尚未梳理出此类合规缺口。
- 动态X @ZenitySec
五条消息组合触发提示注入,单轮护栏无法检出
据 X @ZenitySec 发布的信息,一种攻击将注入内容分散在五条消息中,只有在按序列组合后才构成完整攻击,因此仅对单轮对话打分的护栏无法检出。该帖称这一攻击的每一轮都通过了检查。
- 动态X @MinLiBuilds
Meta Muse 上线前后接连曝出 root 获取与 KVM 逃逸漏洞
有用户称在 Meta 的 Muse 中拿到了 root 权限。该产品上线前 12 天,Meta 刚因 KVM 逃逸漏洞连夜修补;上线后又曝出新的 zero-day,并发现一个 bug,显示仍存在较多问题。
- 动态8world
Anthropic 报告点名 Romi 等 20 多款交友应用用 AI 人设冒充真人
Anthropic 在技术滥用报告中点名 Romi,称其是一家中国工作室运营的 20 多款面向美国用户的交友应用变体之一,被归类为欺诈及诈骗活动。报告显示,今年 4 月的两周内,超过 4700 个 AI 虚拟人物与至少 2 万 5000 人交谈,共发送约 236 万条消息;用户看到的资料中约 75% 是 Claude 驱动的 AI 人设、25% 是真人,虚拟人物被指示隐瞒身份并回避视频通话和索取照片的要求。真人以零工身份受聘负责实时通话和社交媒体回关,部分文字回复由另一 AI 模型辅助生成。Anthropic 已封禁相关账号,并联合其他 AI 实验室切断模型访问权限。一名芝加哥用户注册 Romi 不到一分钟即接到视频来电,通话两分钟后被切断并提示购买点数,他花 2 美元索取电话号码后收到平台警告,随后删除应用。
- 动态The New Stack
OpenAI 测试显示 Dots 边界问题比例随任务链延长翻倍
OpenAI 在 DevDay 发布常驻 Agent Dots,并在 GPT-6 Astra 系统卡的 Dots 附录中给出边界问题测试数据:任务链从 5 个增加到 10 个时,被标记为边界问题的样本比例从 8.6% 升至 19.7%。OpenAI 报告该链式任务评测未发现高严重度泄露或外传,但观察到中等严重度越界;这些实验室自报结果不代表生产事故率。Dots 在主动研究阶段只能读取已连接应用,不能修改、发消息或控制用户浏览器与电脑;进入执行阶段后由内置规则、Custom Rules 和来自 Codex 的 auto-review 共同控制。内部间接提示注入测试中 Astra 的防御成功率为 99.79%,Gray Swan 的外部测试在启用护栏下对 1,810 个攻击估计出 8.5% 的攻击成功率。在 151 个任务上 Astra 驱动的 Dots 记录到 0% 的对齐偏差率。
- 动态OpenAI
OpenAI 如何为 dots 智能体构建安全、安全(security)与隐私保护
OpenAI 为 dots 智能体构建了多层防护体系:底层由 GPT‑6 Astra 模型负责理解用户意图并拒绝有害请求,包括生物与网络安全滥用类请求。系统通过工具限制、行动前检查、提示注入防护和运行监控来约束智能体行为,安全监控发现风险时可暂停任务并向用户告警。每个 dot 运行在独立云工作区中,通过沙箱隔离代码与工具访问,安全登录流程使凭据不进入模型上下文。
- 动态安全内参 / 模安局
AgentPort-Bench 评测七个 Agent 框架:攻击类型解释约 28% 安全差异,框架仅约 0.05%
论文 AgentPort-Bench 在 7 个主流 Agent 框架与直接 HTTP API 调用之间完成 9360 次受控实验,比较攻击类型、模型和框架对安全结果的影响。方差分析显示,攻击类型解释约 28% 的结果差异,模型约 4.14%,Agent 框架仅约 0.05%,即攻击影响约为框架的 500 多倍。研究覆盖 LangChain、CrewAI、AutoGen、LlamaIndex、OpenAI Agents SDK、Google ADK、Semantic Kernel,以及 Anthropic、OpenAI、Google 三家共 6 个模型。28 组两两比较全部落入实践等效区间,但论文只覆盖输入层与模型行为层,未涉及工具权限、MCP、记忆与多 Agent 委托等运行时问题。
- 动态AgentSafeLabs
AgentSafeLabs 用 9,360 次试验评测七种 Agent 框架的安全差异
AgentSafeLabs 发布 AgentPort-Bench,在验证攻击载荷逐字节一致后,对直接 API 基线和七种 Agent 框架(含 LangChain、CrewAI、AutoGen、LlamaIndex、OpenAI Agents SDK、Google ADK、Semantic Kernel)做了 9,360 次受控试验,覆盖六款模型和五类映射到 OWASP Agentic Security Initiative 威胁分类的攻击。结果显示攻击类别对结果的影响最大,模型选择次之,框架选择的影响约比攻击类别小两个数量级、比模型选择小一个数量级;八个条件间全部 28 组两两比较在预设等价边界下均判定为等价。评测还记录了一个模型在特定提示下六次全部耗尽推理 token 预算并返回空响应,以及 Google ADK 与 Semantic Kernel 对推理 token 的统计口径不同。
- 动态中国网信网
中央网信办部署为期4个月的清朗AI应用乱象专项整治
中央网信办印发通知,在全国范围内部署开展为期4个月的清朗·整治AI应用乱象专项行动,分两个阶段各整治7类突出问题。第一阶段为AI应用服务典型违规问题专项治理,重点包括未按规定履行大模型备案登记义务、平台安全和审核过滤能力不足、大模型训练语料安全、AI数据投毒、生成合成内容标识落实不到位、滥用AI技术实施网络攻击与换脸拟声、开源模型安全管理不到位。第二阶段聚焦AI信息内容乱象,涵盖利用AI魔改经典与生成数字泔水、制作发布虚假不实信息、假冒仿冒他人、暴力低俗内容、侵害未成年人权益、AI托管网络水军、AI产品服务和应用程序违规。通知要求各地网信部门履行属地管理责任,督导网站平台对照整治重点自查自纠,完善长效治理机制。
- 动态中国网信网
网信办通报清朗专项行动第二阶段AI技术滥用治理情况
中央网信办通报“清朗·整治AI应用乱象”专项行动第二阶段进展,聚焦AI制作虚假信息、传播暴力低俗内容、假冒仿冒他人、侵害未成年人权益等问题,累计清理违法违规信息561万余条,查处账号4.9万余个,处置违规网站、应用程序等2400余个。各地网信部门推出针对性措施,北京指导平台升级审核策略,上海推出AI应用“知识普及包”,浙江开展“一企一策”合规指导,广东对多款应用点对点督促整改。抖音、快手、微博、腾讯、百度等平台优化多模态识别模型并动态扩充人脸库、声纹库和违规样本库,豆包、元宝、千问、文心一言等严把原始语料审核并强化AI生成合成内容标识,华为、小米、OPPO、vivo等应用商店加强APP准入与抽检。
- 动态AWS Security
AWS 披露 Bedrock AgentCore Starter Toolkit 代码注入与 SSRF 漏洞,0.3.14 修复
AWS 披露 bedrock-agentcore-starter-toolkit 存在两个漏洞:CVE-2026-105812 为代码注入问题,导入并运行或部署特制 Agent 时可能导致任意代码执行;CVE-2026-106032 为外部引用处理问题,导入 Agent 期间可能触发非预期网络请求或本地文件访问。受影响版本为 0.1.4 至 0.3.13,已在 0.3.14 修复。AWS 建议升级到最新版本,并确保 fork 或衍生代码同步修补;用受影响版本导入的 Agent 需用 0.3.14 或更高版本重新导入,并替换本地与已部署的产物。
- 动态Dark Reading
Tenet 在 DEF CON 34 披露 GhostJacking 攻击,可借可信日志劫持 AI 智能体
Dark Reading报道Tenet在DEF CON展示的Ghostjacking研究。外部可影响的日志、告警或错误信息可能被智能体误当作操作指令,使其越过原任务范围。研究涉及多个监控与基础设施平台,提示工具返回的数据应与操作授权分开处理。相关结果来自厂商研究和受控演示,不能表述为实际客户系统已遭攻击,也不能外推为所有智能体配置都会失守。
- 动态SecurityWeek
Tenet 演示 Ghostjacking 攻击:用被投毒的日志劫持 AI 智能体
SecurityWeek报道Tenet展示的Ghostjacking研究。外部可影响的日志、告警或错误信息可能被智能体误当作操作指令,使其越过原任务范围。研究涉及多个监控与基础设施平台,提示工具返回的数据应与操作授权分开处理。相关结果来自厂商研究和受控演示,不能表述为实际客户系统已遭攻击,也不能外推为所有智能体配置都会失守。
- 动态ngCERT
ngCERT 发布 GhostJacking 间接提示注入预警,波及 Cloudflare、Datadog 与 Sentry
ngCERT预警介绍Ghostjacking间接提示注入风险。外部可影响的日志、告警或错误信息可能被智能体误当作操作指令,使其越过原任务范围。研究涉及多个监控与基础设施平台,提示工具返回的数据应与操作授权分开处理。相关结果来自厂商研究和受控演示,不能表述为实际客户系统已遭攻击,也不能外推为所有智能体配置都会失守。
- 动态Zero Day Initiative
Pwn2Own Ireland 2026 公布新目标与类别
Pwn2Own Ireland 2026 将于 10 月 6-9 日在科克举行,新增医疗健康设备与 AI 基础设施等类别,并把编码智能体(vibe coding 工具)纳入目标。参赛门槛改为 ZDI 累计赏金至少 $15,000,另酌情接受最多 10 名新参赛者,总名额上限 80 个,报名于 10 月 1 日 17:00 爱尔兰标准时间截止。手机、打印机、WhatsApp 等类别继续保留,AI 基础设施攻击须从参赛者笔记本电脑发起。
- 动态Zero Day Initiative
Pwn2Own Ireland 2026 完整赛程公布:LiteLLM、OpenAI Codex、Oracle Autonomous AI Database 等 AI 基础设施成目标
Pwn2Own Ireland 2026 在科克开赛,共收到超 60 个参赛项目,手机类目标数量创历史新高。AI 基础设施类别中,LiteLLM、Chroma、Dynamo、Oracle Autonomous AI Database 被列为攻击目标,单项目奖金 2 万至 4 万美元;OpenAI Codex 出现在 Coding Agent 类别,奖金 4 万美元。Google Pixel 10 - Remote 单项奖金最高,达 30 万美元和 30 Master of Pwn 积分。