跳到正文

从来源,看到研究的联系

让信息汇流,让研究相连。点选一条线索,看它从哪里来、通向哪些方向。

图中 6 条 · 本页 24 条 · 共 1,167 条动态论文会议论文
关系图可左右滑动,完整标题也在下方列表中
1 / 4
材料关系图:来源、新闻与研究、细分方向的桑基流图01来源602新闻与研究603细分与主体7来源:CTV NewsCTV News1 条材料来源:Meta AI ResearchMeta AI Research1 条材料来源:东亚日报东亚日报1 条材料来源:POLITICOPOLITICO1 条材料来源:EngadgetEngadget1 条材料来源:UK NCSCUK NCSC1 条材料动态:16 岁少年用 Claude 导航被困不列颠哥伦比亚省荒野动态2026-10-0616 岁少年用 Claude 导航被困不列颠哥伦比亚省荒野动态:Meta 如何为 Muse 构建安全机制动态2026-09-08Meta 如何为 Muse 构建安全机制动态:东亚日报隔离实验室实测:中文圈 AI 渗透工具 ARTEX 43 秒攻破目标服务器动态2026-10-06东亚日报隔离实验室实测:中文圈 AI 渗透工具 ARTEX 43 秒攻破目标服务器动态:美国两党议员提出《保护儿童免受类人聊天机器人法案》动态2026-10-01美国两党议员提出《保护儿童免受类人聊天机器人法案》动态:Anthropic 因会话 cookie 被盗强制用户登出 Claude 并退款动态2026-09-03Anthropic 因会话 cookie 被盗强制用户登出 Claude 并退款动态:英国 NCSC 发布智能体 AI 谨慎采用联合指南动态2026-05-15英国 NCSC 发布智能体 AI 谨慎采用联合指南方向:防御与护栏防御与护栏1方向:AnthropicAnthropic2方向:真实事件真实事件2方向:AI 与网络攻防AI 与网络攻防1方向:危险能力危险能力1方向:Agent 安全Agent 安全6方向:其他方向其他方向5
流带宽度表示材料数量,多标签均分;连线表示来源与分类归属。7 个较少出现的方向归入「其他方向」,点选可查看。

点选节点,展开一条线索

查看材料的摘要与原文,或探索同一来源、同一方向下的内容。

本页材料

完整标题与摘要 · 24 条
  • 动态CTV News

    16 岁少年用 Claude 导航被困不列颠哥伦比亚省荒野

    一名 16 岁少年使用 Claude 获取路线指引后,被困在不列颠哥伦比亚省(B.C.)的偏远荒野中。CTV 视频简介将事件中的路线工具指为 Claude,目前尚无原始对话或独立复现证据。

  • 动态Meta AI Research

    Meta 如何为 Muse 构建安全机制

    Meta 披露 Muse 的安全设计:通过运行时隔离、凭据保护、独立授权网关、外传审批与支付确认等防御,按"智能体可能已被攻破"的限损思路构建。该架构为厂商自述而非独立审计保证,且不阻止 Meta 在必要时访问数据,Confidential VM 仍属后续计划。

  • 动态东亚日报

    东亚日报隔离实验室实测:中文圈 AI 渗透工具 ARTEX 43 秒攻破目标服务器

    东亚日报采访组在隔离虚拟实验室实测中文圈 AI 渗透工具 ARTEX,输入目标地址后 43 秒内攻入两处致命弱点,约 4 分钟完成窃取最高管理员权限与远程操控,使用费仅 20 韩元。该工具类似智能体 AI“OpenClaw”,接入 AI 模型后成为“攻击代理”,遇阻会自行改变方法重试并生成报告。荷兰安全企业哈德里恩称,公开的 AI 模拟黑客工具截至今年 3 月已达 70 个。

  • 动态POLITICO

    美国两党议员提出《保护儿童免受类人聊天机器人法案》

    美国两党议员 George Whitesides、Mike Kennedy、Mariannette Miller-Meeks 和 Doris Matsui 提出《保护儿童免受类人聊天机器人法案》,禁止未成年人访问模拟情感与个人关系的拟人化聊天机器人。法案设定四项产品设计护栏:禁止制造紧迫感或愧疚感诱导未成年人延长使用;相关设置须跨会话生效且不能被用户提示词绕过;禁止声称具有人类身份、意识、感受或冒充医生与咨询师;要求聊天机器人主动且定期说明自身性质。Whitesides 表示该法案从产品设计角度切入,与侧重家长控制或消费者保护的其他提案不同,并称其有望在下一届会期通过。法案包含优先适用条款,为各州设定监管下限,加州 SB 1119 和纽约 S9051B 等更严格的州法仍可继续生效。

  • 动态Engadget

    Anthropic 因会话 cookie 被盗强制用户登出 Claude 并退款

    Anthropic 在发给受影响用户的邮件中称,信息窃取木马从用户自己的电脑上窃取了活跃的 Claude 登录会话,攻击者借此耗尽用量额度并产生未授权扣费,公司已强制登出相关会话、删除已保存的支付卡并退还额外用量费用。Anthropic 表示问题出在用户电脑而非自身被入侵,并已识别出六类木马家族,包括 Windows 上的 Vidar、Lumma、StealC、RedLine、Acreed,以及少量 Mac 上的 Atomic Stealer(AMOS)。这些木马并非专门针对 Claude,而是随恶意下载传播的通用窃取程序,会抓取保存的密码和浏览器 cookie;被复制的 Claude 会话 cookie 可让攻击者直接接管已认证会话,不触发密码和双因素验证。Anthropic 建议用户先清除木马再重新登录,为账号邮箱设置新密码和双因素验证,之后才重新添加支付方式。

  • 动态UK NCSC

    英国 NCSC 发布智能体 AI 谨慎采用联合指南

    英国 NCSC 联合国际伙伴发布《谨慎采用智能体 AI 服务》指南,建议组织从小规模、低风险任务起步,并从一开始就套用既有网络安全控制。指南指出智能体 AI 能访问数据源、记忆上下文、调用工具并自主行动,甚至创建子智能体,因此继承了 LLM 的越狱和提示注入风险,同时因自主性和复杂度提高而扩大攻击面、更难预测、测试和治理。新增风险包括更广的系统与数据访问权限、目标被意外解读导致的行为不可预测、行动速度快于人工审查、以及行为难以解释。具体措施包括最小权限、限制访问范围与可执行动作、避免长期凭证、使用安全默认配置、管理第三方组件与模型的供应链风险、监控异常行为、对部署做威胁建模并把智能体失控纳入事件响应计划。指南强调人类仍需对部署决定、授予的权限、防护措施和运行后果负责,并明确谁拥有、谁批准访问、谁监控、谁审查事件以及谁有权停止智能体。

  • 动态The Banker

    英国 NCSC 警告银行勿仓促部署智能体 AI

    英国国家网络安全中心(NCSC)国家韧性主管 Jonathon Ellison 警告银行,在加速采用智能体 AI 时应确保其可观测、受约束并接受适当监督,否则可能暴露关键系统。Ellison 对 The Banker 表示,机构应确保具备适当的保障、监督、监控和安全控制,使活动保持可观测、受约束并与机构风险偏好一致。英格兰银行行长 Andrew Bailey 则提出更根本的担忧,认为前沿 AI 系统正越来越多地利用自身输出通过递归学习改进性能,形成日益自我指涉的反馈过程,若无有效干预手段,这一过程类似模型逐步自我治理的闭环,可能削弱社会进行有意义监督和干预的能力。他主张优先确保 AI 模型可被理解、测试并在必要时中断,而非仅仅出台新监管。OneTrust 的 Adrienne Canter 指出员工自行下载 AI 应用正在制造新的影子 IT 问题。

  • 动态promptarmor.com

    PromptArmor 解析 WebMCP:采用现状与五类安全风险

    PromptArmor 发布 WebMCP 说明,指出截至 2026 年 10 月 6 日,webmcp.com 登记了 2,959 个提供 WebMCP 工具的站点,Chrome、Edge、Brave 已通过 Origin trials 支持,ChatGPT 内置浏览器以 Site tools 形式支持,Cloudflare 的 Browser Run 与 Shopify 也已接入。WebMCP 工具像传统 MCP 工具一样定义名称、描述、输入与读写能力提示,但由网站页面直接提供给正在访问的智能体,智能体调用工具而非模拟点击界面。

  • 动态X @ZenitySec

    AI 智能体调用欧盟境外 MCP 工具完成退款,GDPR 跨境传输合规缺口未被识别

    据 X @ZenitySec 发布的内容,一个 AI 智能体为完成退款调用了托管在欧盟境外的 MCP 工具。该调用未经配置、未经审批,也未触发任何告警,但已构成 GDPR 跨境数据传输。该帖指出,多数团队尚未梳理出此类合规缺口。

  • 动态X @ZenitySec

    五条消息组合触发提示注入,单轮护栏无法检出

    据 X @ZenitySec 发布的信息,一种攻击将注入内容分散在五条消息中,只有在按序列组合后才构成完整攻击,因此仅对单轮对话打分的护栏无法检出。该帖称这一攻击的每一轮都通过了检查。

  • 动态X @MinLiBuilds

    Meta Muse 上线前后接连曝出 root 获取与 KVM 逃逸漏洞

    有用户称在 Meta 的 Muse 中拿到了 root 权限。该产品上线前 12 天,Meta 刚因 KVM 逃逸漏洞连夜修补;上线后又曝出新的 zero-day,并发现一个 bug,显示仍存在较多问题。

  • 动态8world

    Anthropic 报告点名 Romi 等 20 多款交友应用用 AI 人设冒充真人

    Anthropic 在技术滥用报告中点名 Romi,称其是一家中国工作室运营的 20 多款面向美国用户的交友应用变体之一,被归类为欺诈及诈骗活动。报告显示,今年 4 月的两周内,超过 4700 个 AI 虚拟人物与至少 2 万 5000 人交谈,共发送约 236 万条消息;用户看到的资料中约 75% 是 Claude 驱动的 AI 人设、25% 是真人,虚拟人物被指示隐瞒身份并回避视频通话和索取照片的要求。真人以零工身份受聘负责实时通话和社交媒体回关,部分文字回复由另一 AI 模型辅助生成。Anthropic 已封禁相关账号,并联合其他 AI 实验室切断模型访问权限。一名芝加哥用户注册 Romi 不到一分钟即接到视频来电,通话两分钟后被切断并提示购买点数,他花 2 美元索取电话号码后收到平台警告,随后删除应用。

  • 动态The New Stack

    OpenAI 测试显示 Dots 边界问题比例随任务链延长翻倍

    OpenAI 在 DevDay 发布常驻 Agent Dots,并在 GPT-6 Astra 系统卡的 Dots 附录中给出边界问题测试数据:任务链从 5 个增加到 10 个时,被标记为边界问题的样本比例从 8.6% 升至 19.7%。OpenAI 报告该链式任务评测未发现高严重度泄露或外传,但观察到中等严重度越界;这些实验室自报结果不代表生产事故率。Dots 在主动研究阶段只能读取已连接应用,不能修改、发消息或控制用户浏览器与电脑;进入执行阶段后由内置规则、Custom Rules 和来自 Codex 的 auto-review 共同控制。内部间接提示注入测试中 Astra 的防御成功率为 99.79%,Gray Swan 的外部测试在启用护栏下对 1,810 个攻击估计出 8.5% 的攻击成功率。在 151 个任务上 Astra 驱动的 Dots 记录到 0% 的对齐偏差率。

  • 动态OpenAI

    OpenAI 如何为 dots 智能体构建安全、安全(security)与隐私保护

    OpenAI 为 dots 智能体构建了多层防护体系:底层由 GPT‑6 Astra 模型负责理解用户意图并拒绝有害请求,包括生物与网络安全滥用类请求。系统通过工具限制、行动前检查、提示注入防护和运行监控来约束智能体行为,安全监控发现风险时可暂停任务并向用户告警。每个 dot 运行在独立云工作区中,通过沙箱隔离代码与工具访问,安全登录流程使凭据不进入模型上下文。

  • 动态安全内参 / 模安局

    AgentPort-Bench 评测七个 Agent 框架:攻击类型解释约 28% 安全差异,框架仅约 0.05%

    论文 AgentPort-Bench 在 7 个主流 Agent 框架与直接 HTTP API 调用之间完成 9360 次受控实验,比较攻击类型、模型和框架对安全结果的影响。方差分析显示,攻击类型解释约 28% 的结果差异,模型约 4.14%,Agent 框架仅约 0.05%,即攻击影响约为框架的 500 多倍。研究覆盖 LangChain、CrewAI、AutoGen、LlamaIndex、OpenAI Agents SDK、Google ADK、Semantic Kernel,以及 Anthropic、OpenAI、Google 三家共 6 个模型。28 组两两比较全部落入实践等效区间,但论文只覆盖输入层与模型行为层,未涉及工具权限、MCP、记忆与多 Agent 委托等运行时问题。

  • 动态AgentSafeLabs

    AgentSafeLabs 用 9,360 次试验评测七种 Agent 框架的安全差异

    AgentSafeLabs 发布 AgentPort-Bench,在验证攻击载荷逐字节一致后,对直接 API 基线和七种 Agent 框架(含 LangChain、CrewAI、AutoGen、LlamaIndex、OpenAI Agents SDK、Google ADK、Semantic Kernel)做了 9,360 次受控试验,覆盖六款模型和五类映射到 OWASP Agentic Security Initiative 威胁分类的攻击。结果显示攻击类别对结果的影响最大,模型选择次之,框架选择的影响约比攻击类别小两个数量级、比模型选择小一个数量级;八个条件间全部 28 组两两比较在预设等价边界下均判定为等价。评测还记录了一个模型在特定提示下六次全部耗尽推理 token 预算并返回空响应,以及 Google ADK 与 Semantic Kernel 对推理 token 的统计口径不同。

  • 动态中国网信网

    中央网信办部署为期4个月的清朗AI应用乱象专项整治

    中央网信办印发通知,在全国范围内部署开展为期4个月的清朗·整治AI应用乱象专项行动,分两个阶段各整治7类突出问题。第一阶段为AI应用服务典型违规问题专项治理,重点包括未按规定履行大模型备案登记义务、平台安全和审核过滤能力不足、大模型训练语料安全、AI数据投毒、生成合成内容标识落实不到位、滥用AI技术实施网络攻击与换脸拟声、开源模型安全管理不到位。第二阶段聚焦AI信息内容乱象,涵盖利用AI魔改经典与生成数字泔水、制作发布虚假不实信息、假冒仿冒他人、暴力低俗内容、侵害未成年人权益、AI托管网络水军、AI产品服务和应用程序违规。通知要求各地网信部门履行属地管理责任,督导网站平台对照整治重点自查自纠,完善长效治理机制。

  • 动态中国网信网

    网信办通报清朗专项行动第二阶段AI技术滥用治理情况

    中央网信办通报“清朗·整治AI应用乱象”专项行动第二阶段进展,聚焦AI制作虚假信息、传播暴力低俗内容、假冒仿冒他人、侵害未成年人权益等问题,累计清理违法违规信息561万余条,查处账号4.9万余个,处置违规网站、应用程序等2400余个。各地网信部门推出针对性措施,北京指导平台升级审核策略,上海推出AI应用“知识普及包”,浙江开展“一企一策”合规指导,广东对多款应用点对点督促整改。抖音、快手、微博、腾讯、百度等平台优化多模态识别模型并动态扩充人脸库、声纹库和违规样本库,豆包、元宝、千问、文心一言等严把原始语料审核并强化AI生成合成内容标识,华为、小米、OPPO、vivo等应用商店加强APP准入与抽检。

  • 动态AWS Security

    AWS 披露 Bedrock AgentCore Starter Toolkit 代码注入与 SSRF 漏洞,0.3.14 修复

    AWS 披露 bedrock-agentcore-starter-toolkit 存在两个漏洞:CVE-2026-105812 为代码注入问题,导入并运行或部署特制 Agent 时可能导致任意代码执行;CVE-2026-106032 为外部引用处理问题,导入 Agent 期间可能触发非预期网络请求或本地文件访问。受影响版本为 0.1.4 至 0.3.13,已在 0.3.14 修复。AWS 建议升级到最新版本,并确保 fork 或衍生代码同步修补;用受影响版本导入的 Agent 需用 0.3.14 或更高版本重新导入,并替换本地与已部署的产物。

  • 动态Dark Reading

    Tenet 在 DEF CON 34 披露 GhostJacking 攻击,可借可信日志劫持 AI 智能体

    Dark Reading报道Tenet在DEF CON展示的Ghostjacking研究。外部可影响的日志、告警或错误信息可能被智能体误当作操作指令,使其越过原任务范围。研究涉及多个监控与基础设施平台,提示工具返回的数据应与操作授权分开处理。相关结果来自厂商研究和受控演示,不能表述为实际客户系统已遭攻击,也不能外推为所有智能体配置都会失守。

  • 动态SecurityWeek

    Tenet 演示 Ghostjacking 攻击:用被投毒的日志劫持 AI 智能体

    SecurityWeek报道Tenet展示的Ghostjacking研究。外部可影响的日志、告警或错误信息可能被智能体误当作操作指令,使其越过原任务范围。研究涉及多个监控与基础设施平台,提示工具返回的数据应与操作授权分开处理。相关结果来自厂商研究和受控演示,不能表述为实际客户系统已遭攻击,也不能外推为所有智能体配置都会失守。

  • 动态ngCERT

    ngCERT 发布 GhostJacking 间接提示注入预警,波及 Cloudflare、Datadog 与 Sentry

    ngCERT预警介绍Ghostjacking间接提示注入风险。外部可影响的日志、告警或错误信息可能被智能体误当作操作指令,使其越过原任务范围。研究涉及多个监控与基础设施平台,提示工具返回的数据应与操作授权分开处理。相关结果来自厂商研究和受控演示,不能表述为实际客户系统已遭攻击,也不能外推为所有智能体配置都会失守。

  • 动态Zero Day Initiative

    Pwn2Own Ireland 2026 公布新目标与类别

    Pwn2Own Ireland 2026 将于 10 月 6-9 日在科克举行,新增医疗健康设备与 AI 基础设施等类别,并把编码智能体(vibe coding 工具)纳入目标。参赛门槛改为 ZDI 累计赏金至少 $15,000,另酌情接受最多 10 名新参赛者,总名额上限 80 个,报名于 10 月 1 日 17:00 爱尔兰标准时间截止。手机、打印机、WhatsApp 等类别继续保留,AI 基础设施攻击须从参赛者笔记本电脑发起。

  • 动态Zero Day Initiative

    Pwn2Own Ireland 2026 完整赛程公布:LiteLLM、OpenAI Codex、Oracle Autonomous AI Database 等 AI 基础设施成目标

    Pwn2Own Ireland 2026 在科克开赛,共收到超 60 个参赛项目,手机类目标数量创历史新高。AI 基础设施类别中,LiteLLM、Chroma、Dynamo、Oracle Autonomous AI Database 被列为攻击目标,单项目奖金 2 万至 4 万美元;OpenAI Codex 出现在 Coding Agent 类别,奖金 4 万美元。Google Pixel 10 - Remote 单项奖金最高,达 30 万美元和 30 Master of Pwn 积分。