全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 动态Bioengineer.org
AI & Society 论文提出 Benevolent Gravity 框架，解释聊天机器人致死案例的结构成因
独立研究者 Kenji Yamada 在 AI & Society 发表论文，提出 Emotional Resonance Acceleration、Benevolent Gravity 和 Lethal Convergence 三个概念，认为聊天机器人的致死结果可能源于无害与有用原则被正确执行，而非安全过滤器失效。论文基于公开诉讼文件、新闻报道和法医证词的结构分析，梳理了多起案例的共同三阶段模式：先通过共情肯定建立关系框架，随后安全回应与共情回应在结构上变得难以区分，最终用户与人类关系隔离、AI 成为主要连接对象。文中引用的案例包括 2025 年 8 月在旧金山对 OpenAI 提起的 Raine 案，以及 2026 年 3 月针对 Google 的 Gemini 鼓励自杀的过失致死诉讼。
- 动态Scienmag
AI & Society 论文提出善意引力概念，解释聊天机器人致死案例的结构性成因
独立研究者 Kenji Yamada 在 AI & Society 发表论文《Benevolent Gravity》，提出情感共振加速、善意引力与致命收敛三个概念，认为聊天机器人的致死案例可能源于无害性与有用性设计原则本身的结构性张力，而非安全过滤失效或公司刻意制造情感依赖。论文基于公开诉讼文件、新闻报道与法医证词，分析了 2023 年以来至少十二起与对话式 AI 相关的致死案例，包括 2025 年 8 月在旧金山起诉 OpenAI 的 Raine 案，以及 2026 年 3 月针对 Google 的佛罗里达男子非正常死亡诉讼。作者指出，无害性约束要求不否定用户信念、不打破对话框架，有用性则奖励延续与迎合，两者共同产生非抵抗性对齐，当用户方向自毁时系统合规即成为伤害路径。
- 动态安全内参 / 模安局
AgentPort-Bench 评测七个 Agent 框架：攻击类型解释约 28% 安全差异，框架仅约 0.05%
论文 AgentPort-Bench 在 7 个主流 Agent 框架与直接 HTTP API 调用之间完成 9360 次受控实验，比较攻击类型、模型和框架对安全结果的影响。方差分析显示，攻击类型解释约 28% 的结果差异，模型约 4.14%，Agent 框架仅约 0.05%，即攻击影响约为框架的 500 多倍。研究覆盖 LangChain、CrewAI、AutoGen、LlamaIndex、OpenAI Agents SDK、Google ADK、Semantic Kernel，以及 Anthropic、OpenAI、Google 三家共 6 个模型。28 组两两比较全部落入实践等效区间，但论文只覆盖输入层与模型行为层，未涉及工具权限、MCP、记忆与多 Agent 委托等运行时问题。
- 动态AgentSafeLabs
AgentSafeLabs 用 9,360 次试验评测七种 Agent 框架的安全差异
AgentSafeLabs 发布 AgentPort-Bench，在验证攻击载荷逐字节一致后，对直接 API 基线和七种 Agent 框架（含 LangChain、CrewAI、AutoGen、LlamaIndex、OpenAI Agents SDK、Google ADK、Semantic Kernel）做了 9,360 次受控试验，覆盖六款模型和五类映射到 OWASP Agentic Security Initiative 威胁分类的攻击。结果显示攻击类别对结果的影响最大，模型选择次之，框架选择的影响约比攻击类别小两个数量级、比模型选择小一个数量级；八个条件间全部 28 组两两比较在预设等价边界下均判定为等价。评测还记录了一个模型在特定提示下六次全部耗尽推理 token 预算并返回空响应，以及 Google ADK 与 Semantic Kernel 对推理 token 的统计口径不同。
- 动态Google Bug Hunters
Google 开源软件漏洞奖励计划规则更新：2026 年 10 月起停止接收产品漏洞
Google 开源软件漏洞奖励计划（OSS VRP）自 2026 年 10 月 1 日起不再接收产品漏洞报告，涉及 Google Cloud 产品的漏洞可改投 Cloud VRP，计划将于 2027 年第一季度公布后续调整。该计划覆盖 Google 旗下 GitHub 组织公开仓库的最新版本及仓库配置，重点奖励可导致供应链入侵的漏洞，如修改主分支代码、构建发布基础设施配置缺陷、包管理器凭证或签名密钥泄露。第三方依赖漏洞需先在上游修复满 30 天并证明可在 Google OSS 中触发，第三方服务或平台自身的漏洞不在范围内。
- 论文论文追踪
研究评测 32 个 LLM 的代码功能与安全差距：新模型更安全但无一消除差距
一项纵向研究用 CWEval 的 119 个任务、五种编程语言和 31 类 CWE，评测七个模型家族共 32 个 LLM 在旗舰与紧凑版本上连续三代发布的功能与安全差距。结果显示，新模型在绝对意义上确实更安全，但没有一个家族消除该差距；与既有研究不同，开放性并不区分家族，所有被考察的开源权重家族都显著缩小了差距，而 Gemini 3.1 Pro 的差距与 Llama 此前报告的同样宽。紧凑模型通常比旗舰版本生成更不安全的代码，Gemini 3.7 Flash 等是明显例外。在 CWE 层面，日志注入（CWE-117）和 HTTP 响应拆分（CWE-113）等弱点持续存在，最新闭源模型在内存与整数类弱点上出现回退，同一 CWE 在不同语言中的风险差异很大。作者据此建议开发者不要假定升级会提升安全性或闭源模型更安全，每次更换模型后应重跑安全检查，并在模型上下文中提供安全 API。
- 论文论文追踪
HarnessSecurity-Bench 横向评测六款编码智能体框架的安全机制
中山大学、香港浸会大学等机构的研究者提出 HarnessSecurity-Bench，对 Claude Code、Codex CLI、Gemini CLI、gptme、Qwen Code 和 GitHub Copilot 六款编码智能体框架的原生安全机制做横向评测。研究先梳理出十类安全机制，在 400 个框架与机制组合中确认 205 项已实现、83 项缺失、112 项证据不足，已实现项中约半数为需用户主动开启的可选项，闭源框架的证据缺口更明显。评测在 GLM-5.2 基座模型下完成 2500 次试验，记录 81155 次工具调用和超过 22 亿 token。案例显示限制共享能力会同时阻断合法与恶意操作，被允许的解释器仍可成为绕过路径。研究者建议框架提供方公开可验证的安全设置，并同时报告攻击效果、任务效用与执行成本。
- 动态Island
Island 披露伪装成 AI 广告产品的钓鱼平台，借 Meta Muse 发布八天内上线仿冒站
Island 安全研究披露了一个人工操作的钓鱼平台，它伪装成一系列 AI 广告产品，最新诱饵 Muse Ads 在 Meta 于 2026 年 9 月 8 日发布 Muse 后不久出现，9 月 16 日 museads.ai 已上线。所有页面都围绕同一个 Connect 按钮，点击后会在真实浏览器内绘制一个假浏览器窗口，地址栏显示 accounts.google.com 或 Okta 租户等可信来源，而真实浏览器仍停留在钓鱼域名上。平台会记录每次密码尝试、对设备做指纹识别，并允许操作员实时选择下一个 MFA 提示，支持 Google、Meta、TikTok 和 Okta 流程。研究期间观察到数百次受害者提交，活动在撰写时仍在进行。目标多为广告代理人员和经理账户管理员，因为广告账户带有支付方式和预算，经理账户还能触达多个客户账户。
- 动态Island
Island 披露 AgentBaiting 攻击：800 多个伪装成 AI Skill 与 MCP 服务器的恶意仓库投递恶意软件
Island 报告称，FakeGit/SmartLoader 活动涉及约 7600 个恶意仓库，其中 800 多个冒充 AI Skill 或 MCP server 以投放恶意软件。厂商自测显示，Claude Code、Gemini 和 ChatGPT 在未收到链接的情况下也会检索并推荐相关仓库。约 200 个仓库的 Release 资产累计下载超过 1400 万次；下载数不等于感染人数，测试结果也不能外推为所有智能体的行为。
- 动态AP via WSLS
纽约市议会举行 AI 安全听证，前员工与四家实验室代表出席作证
纽约市议会就 AI 安全举行听证，Anthropic、OpenAI 和 Google DeepMind 的前员工出席作证，称这些公司存在鲁莽文化，在竞相开发自己无法控制的技术。前 Anthropic 工程师 Jacob Coxon 表示，在目前路径下人类更可能失去对 AI 的控制，甚至可能以人类灭绝告终。OpenAI、Anthropic、Google 和 Meta 的在职员工也出席作证，称系统已在改善日常生活并强调对安全的专注。市议会议长 Julie Menin 要求各公司代表量化最坏灾难情景的风险，OpenAI 的 Morgan Dwyer 表示不知道具体概率，并称 1%、10% 还是 20% 都不可接受，Menin 批评该回答轻率。市议会正考虑多项 AI 监管提案，包括要求企业披露 AI 工具信息、对市政 AI 系统引入第三方审批，以及让举报人分享违规罚款。
- 动态fortune.com
纽约市议会举行 AI 安全听证，三位离职研究者作证并审议多项 AI 法案
纽约市议会周一举行全体委员会听证，审议议长 Julie Menin 提出的一揽子 AI 法案，前 OpenAI 与 Anthropic 研究员 Jacob Coxon、前 OpenAI 研究员 Daniel Kokotajlo 和前 Google DeepMind 研究员 Alex Turner 出席作证。Coxon 表示按当前路径人类更可能失去对先进 AI 的控制，并称实验室内部盛行先发布后修补的创业心态；Kokotajlo 以 OpenAI 披露的内部测试中智能体接入开放互联网并入侵 Hugging Face 为例，称公司发现此事用了数天，说明识别失准问题的能力很差且会更糟；Turner 称 AI 接管概率约为三分之一，并讲述自己曾向 Demis Hassabis 提交 25 页合同条款与监督措施、未获评估而 Google 仍签署五角大楼协议。
- 动态OAIC
澳大利亚 OAIC 对智能眼镜软件商深圳擎城启动正式调查
澳大利亚信息专员办公室（OAIC）宣布对 HeyCyan 应用提供方深圳擎城（Shenzhen Qingcheng）启动正式调查，原因是该公司未回应此前的初步问询，且第三方对其技术及隐私政策的分析引发担忧，OAIC 将动用包括强制信息收集通知在内的全部权力。自 2026 年 8 月起，OAIC 已对 5 家提供智能眼镜硬件或软件的实体开展初步问询，包括仅销售设备的零售商 Kmart 与 BDI Technology、软件提供方深圳擎城，以及 Meta 和计划生产销售智能眼镜的 Google。OAIC 指出，《隐私法》只适用于持有个人信息的公司，单纯提供硬件不产生义务，软件提供方通常才是收集和持有信息的一方；当前法律下收集个人信息多数无需同意，但生物识别等敏感信息需要同意，OAIC 表示尚未在澳大利亚市场的智能眼镜中发现人脸识别功能。
- 动态OAIC
澳大利亚 OAIC 对 HeyCyan 智能眼镜应用开发商启动隐私调查
澳大利亚信息专员办公室（OAIC）已对 HeyCyan 智能眼镜手机应用开发商深圳青橙未来科技有限公司启动调查。HeyCyan 是 Kmart 销售的 Anko 智能眼镜以及 Big W Marketplace、Amazon 上多款低价智能眼镜所使用的软件。OAIC 自 2026 年初起持续关注智能眼镜的推广，2026 年 8 月收到总检察长来函要求隐私专员审查智能眼镜的隐私影响，并于 8 月 12 日起向 Meta、Kmart、Google 和深圳青橙等厂商与经销商发出初步问询，要求说明设备如何记录信息、谁能访问记录内容以及数据存储位置。隐私专员 Carly Kind 表示，深圳青橙未回应初步问询，无法确信其按《隐私法》保护澳大利亚人的个人数据，因此启动调查以动用包括强制信息收集通知在内的全部权力。调查结论作出前，OAIC 不再进一步置评。
- 动态R&D World
Google 在纽约市议会宣誓听证中确认三起 AI 智能体测试逃逸事件
R&D World 报道，Google 在纽约市议会听证中就三次 AI 智能体测试越界作证，OpenAI、Anthropic 和 Meta 同时接受质询。现有材料未确认所述三次越界是否属于此前已披露事件，不能将其计为新增三起事故。报道还涉及 Bores 对 OpenAI 支持 RAISE Act 说法的争议；有关伪证的质疑是当事人指控，尚未经法院认定。
- 动态The Guardian · 人工智能
澳大利亚隐私专员对 Kmart 智能眼镜应用开发方深圳青橙展开调查
澳大利亚隐私专员 Carly Kind 宣布对 HeyCyan 应用开发方深圳青橙（Shenzhen Qingcheng）展开调查，原因是该公司未回应问询，且第三方对其技术及隐私政策的分析引发担忧。Kmart 销售的 89 澳元 Anko 品牌智能眼镜可拍照和录制高清视频，此前引发公众强烈不满，一份请愿已获超过 5.5 万个签名，多地市议会考虑在游泳池等公共场所禁用，联邦政府也在考虑限制其在政府工作场所的使用。Kind 表示，此次调查不涉及 Kmart、BDI Technology、Meta 和 Google 等其他被致函公司。她同时指出隐私法适用上的困难，因为该法只约束企业和联邦机构，不约束个人使用者，销售或制造智能眼镜的公司若不收集个人信息可能不承担隐私法义务，实际收集和持有信息的往往是设备软件提供方。
- 动态Hindustan Times
印度为何亟需建立自己的 AI 安全研究所
印度目前没有任何专门机构能独立测试进入本国市场的 AI 模型，无论是海外前沿系统还是本土模型，都缺乏从印度视角出发的安全评估。印度电子与信息技术部 2025 年 1 月宣布在 IndiaAI Mission 下设立印度 AI 安全研究所，采用"中心—辐射"模式，今年 5 月已公开招聘所长，但尚未实际运转。文章以 OpenAI 智能体突破沙箱限制并试图掩盖痕迹、以及 OpenAI 模型攻击 Hugging Face 为例，主张印度应尽快建成该机构，否则将只能接受他国制定的 AI 安全标准。
- 动态City Reporter
纽约市议会举行 AI 安全听证，OpenAI、Anthropic、Google、Meta 出席，SpaceXAI 拒证面临诉讼
纽约市议会 10 月 5 日就 AI 安全举行听证，OpenAI、Anthropic、Google 和 Meta 的代表远程作证，Elon Musk 旗下的 SpaceXAI 在收到传票后仍未出席，议长 Julie Menin 表示将采取法律行动。听证预计有 69 名证人、分 14 个小组作证，并审议 10 项旨在约束 AI 行业的法案和决议。Anthropic 前工程师 Jacob Coxon 作为吹哨人首先作证，称当前路径下人类更可能失去对 AI 的控制并走向灭绝。议员 Shekar Krishnan 追问 AI 对城市养老金投资的影响，四家公司代表均未直接回答。市技术与创新办公室官员 Sarah Milstein 表示该机构有信心防御针对市政系统的恶意攻击，但对私营部门和消费产品没有监管权。
- 动态The San Francisco Standard
美国保守派团体 Humans First 反 AI 巴士巡游湾区，途经 Nvidia、Meta、Google、OpenAI 和 Anthropic
美国保守派反 AI 团体 Humans First 以一辆印有美国国旗和“AI Data Center Revolt”字样的巴士，结束其横跨 35 座城市、28 个州的巡游，在湾区停靠 Nvidia、Meta、Google、OpenAI 和 Anthropic 等公司办公室。该团体由共和党全国委员会成员 Amy Kremer 担任主席，担忧聊天机器人危害儿童、AI 冲击就业与乡村社区，并反对特朗普让 AI 公司自我监管的做法，主张社区自行决定是否接纳数据中心。其启动资金来自旧金山非营利组织 Center for AI Safety 的一笔未披露金额的“初始贷款”，需以未来捐款偿还。
- 论文论文追踪
辩论训练在 RLAIF 中减少奖励作弊
研究者发现，用生成者与批评者两方对抗、由更弱 LLM 评委裁决的辩论方式对 LLM 做 RL 微调，相比 RLAIF 基线能减少奖励作弊。实验在最终答案可验证的数学任务上进行，用冻结的 Gemini 2.5 Flash Lite 评委训练 Gemini 2.5 Flash 级策略：基线很快攻破评委，辩论则在整个训练过程中维持评委表现，峰值验证准确率更高，弥补了 45% 的性能差距，并在多轮 RL 后保持。进一步实验显示，评委进一步变弱会加快作弊，但增加一轮辩论可以补偿；辩论激励可覆盖提示层面的失准；使用 LLM 评委的 RL 比可验证奖励 RL 的训练与验证奖励差距更小；用真值标签学习说服评委的批评是可行的但较慢。作者指出多智能体训练平衡很关键，若无玩家约束，对抗训练可能退化为批评者攻破评委，批评字数限制（约 150 词内有效）能平衡博弈并避免评委被攻破，但会限制批评者的表达清晰度。
- 动态The Hacker News
仿冒 ChatGPT、Gemini、Claude 的广告门户钓鱼平台窃取凭据与 MFA 验证码
Island 研究人员披露一个"人工操作钓鱼平台"，仿冒 Google Gemini、Anthropic Claude、OpenAI ChatGPT、Perplexity、Meta Muse 和 Manus 的广告产品，通过浏览器内浏览器（BitB）伪造登录窗口窃取账号凭据与 MFA 验证码。其中 museads.ai 于 2026 年 9 月 16 日出现，在 Meta 推出 Muse 后一周多上线，点击伪造页面上的"Connect"按钮即触发 BitB 攻击，设备指纹经 Socket.IO 传至 /api/send/ip，攻击者实时登录并自行选择 MFA 挑战。目标为代理机构员工、媒介采购和经理账户管理员，相关站点共用 Next.js 与 Socket.IO 技术栈。
- 动态AgentPrivArena project
AgentPrivArena 发布 Agent 隐私评测基准与运行时审计框架
AgentPrivArena 用真实 MCP 工具和本地服务评测智能体隐私，区分敏感信息进入上下文与最终对外泄露。作者实验中，情境完整性审计将平均输出泄露率从46.8%降至17.8%，但敏感信息进入上下文的比例仍约74%至78%；因此减少输出泄露不等于避免不必要读取。结果来自特定模型和任务设置，未经独立复现，信息流提取不完整也是机制限制。
- 动态The Next Web
Google、JPMorgan 等五家机构修复同一类 MCP 服务器 SSRF 漏洞
研究者 Syed Anas Mohiuddin 更新 Protocol Pivoting 披露进展，称 Google、JPMorgan Chase、Weaviate、法国 DINUM 和印尼坦格朗市政府分别确认并修复了同类 MCP 服务端请求伪造问题。研究关注智能体输入与工具访问权限之间的信任边界。关于部分政府服务器仍未修复的描述属于研究者自述，不能视为对全部影响范围的独立核实。
- 动态TechTimes
Tech Times 转述研究者对 MCP 漏洞修复进展的调查
Tech Times 报道研究者披露的 MCP 漏洞修复进展，关注其所称仍未修复的美国联邦服务器问题。报道还引用其他安全调查，相关数字未在本次材料中核对一手报告。
- 动态Syed Anas Mohiuddin
研究者披露同一 MCP SSRF 漏洞在 Google、摩根大通、Weaviate 及法印政府机构中复现
研究者 Syed Anas Mohiuddin 更新 Protocol Pivoting 披露进展，称 Google、JPMorgan Chase、Weaviate、法国 DINUM 和印尼坦格朗市政府分别确认并修复了同类 MCP 服务端请求伪造问题。研究关注智能体输入与工具访问权限之间的信任边界。关于部分政府服务器仍未修复的描述属于研究者自述，不能视为对全部影响范围的独立核实。