跳到正文

全部动态

今天新收录 63条

第28页更新的内容回到最新

10月3日周六
  1. Google ADK · 收录 · 原文 新闻22

    Google ADK v2.11.0 发布:工作流优雅取消、工具确认与 SQLite 记忆服务(原文,在新标签页打开)

    Google ADK 发布 v2.11.0,为 Runner、Workflow 和节点新增 abort_signal 以优雅取消执行,客户端断开时 /run_sse 会自动取消运行。工作流中的工具节点可像 LlmAgent 一样通过 RequestInput 暂停等待用户批准,而非直接向下游传错。新增 ModelConsultTool 让智能体在任务中途咨询另一模型(受每轮和每会话预算限制),并提供以 sqlite:// 选择的 SQLite 本地记忆服务,同时通过可选路径支持 MCP SDK 2.x。

    1条报道 ·1个来源查看事件时间线与全部报道
  2. GitHub 安全公告 · 收录 · 原文 新闻56

    Hugging Face Transformers 在信任确认前写入自定义生成代码(原文,在新标签页打开)

    Hugging Face Transformers 4.49.0 至 5.8.1 存在漏洞,调用 GenerativePreTrainedModel.load_custom_generate() 时会在用户确认 trust_remote_code 之前就抓取并缓存远程 Python 模块文件。攻击者控制的 custom_generate/generate.py 代码即使用户拒绝信任提示,也会被写入 ~/.cache/huggingface/modules 目录。执行环节仍受信任检查限制,但文件写入不可逆且可跨会话留存,可能造成磁盘上持久化的未授权文件,以及缓存冲突导致攻击者代码在后续受信任的模型加载中被执行。

    推荐理由公告说明了写入发生在信任确认之前,使用 Transformers 加载自定义生成代码的团队可据此检查本地缓存是否残留未授权文件。

    1条报道 ·1个来源查看事件时间线与全部报道
  3. GitHub 安全公告 · 收录 · 原文 新闻52

    rmcp OAuth 客户端未校验 resource_metadata URL 存在 SSRF 漏洞(原文,在新标签页打开)

    GitHub 安全公告披露 modelcontextprotocol/rust-sdk 的 rmcp crate 存在 SSRF 漏洞,受影响文件为 crates/rmcp/src/transport/auth.rs。其 OAuth 客户端会从服务器返回的 WWW-Authenticate 头中解析 resource_metadata= 的绝对 URL 并直接发起 GET 请求,既不校验是否与原始 MCP 服务器同源,也不拦截 loopback、link-local、RFC 1918 地址或云元数据端点。攻击者控制的 MCP 服务器可返回 401 与指向 http://169.254.169.254/latest/meta-data/ 等内部地址的头部,使受害应用以其网络上下文探测云元数据、localhost 服务、私有 VPC 或容器网络服务及内部 HTTP API。

    推荐理由披露了 rmcp OAuth 客户端未校验 resource_metadata URL 导致的 SSRF,并给出同源校验与私网拦截的修复思路。

    1条报道 ·1个来源查看事件时间线与全部报道
  4. WIRED Security and AI · 收录 · 原文 新闻46

    HCA 与 Palantir 的 AI 排班工具 Timpani 遭护士投诉(原文,在新标签页打开)

    美国最大医院连锁 HCA 自 2023 年起在约 190 家院区中的 130 家部署了与 Palantir 联合开发的 AI 排班工具 Timpani,多名护士称其频繁无视排班偏好、在周日等时段安排过少或经验不足的护士,导致人手不足与疲劳。HCA 数据显示 Timpani 平均只把护士申请休假的 1% 排为工作日,但护士表示此前几乎不会出现这种情况。HCA 发言人称最终排班决定由护理管理者而非 Timpani 做出,并否认该工具以牺牲患者护理为代价减少人手。

    2条报道 ·1个来源查看事件时间线与全部报道
  5. Semafor · 收录 · 原文 新闻40

    Meta 与 AI 安全初创公司 Virtue AI 分道扬镳(原文,在新标签页打开)

    Meta 证实已让四个月前从 AI 安全初创公司 Virtue AI 招入的员工离职,发言人 Andy Stone 将原因归结为工作方式不合。Stone 表示这一安排未能按计划推进,并称 Meta Superintelligence Labs 仍聚焦 AI 安全、对齐与前沿风险。Virtue AI 此前曾与 Anthropic、OpenAI 以及美国商务部 NIST 合作。Axios 六月报道称,Virtue AI 联合创始人 Bo Li、Dawn Song 和 Sanmi Koyejo 与该公司其他员工一同加入 Meta。该团队未立即回应置评请求。

  6. TechCrunch AI · 收录 · 原文 新闻18

    Circuit Breaker Labs 想让孩子(和你)用上更安全的 AI(原文,在新标签页打开)

    Circuit Breaker Labs 打造了一支由 AI 智能体组成的“碰撞测试假人”队伍,模拟不同年龄、背景、语言和文化的用户,对模型进行红队测试,检测其能否识别危险、心理有害的对话。这些模拟会还原真实口语、俚语、隐语和错别字,每天运行数万到数十万次交互,再用专有评分方法给出可审计、可解释的分数。该实验室目前面向 AI 教练、日记和心理健康支持等高风险应用,团队仅 5 人,处于早期阶段。

    1条报道 ·1个来源查看事件时间线与全部报道
  7. WIRED Security and AI · 收录 · 原文 新闻29

    Nathan Lambert 与 Tom Zick 创立 Trillium Labs,公开研究 RSI 与智能体等高风险 AI 领域(原文,在新标签页打开)

    前 Ai2 与 Hugging Face 研究员 Nathan Lambert 和曾任哈佛的 Tom Zick 创立非营利机构 Trillium Labs,主张公开实验细节以便外部科学家复现,而非将前沿模型锁在实验室内部。该机构初期聚焦后训练与微调,并将研究递归自我改进(RSI)和强化学习如何塑造模型性格与行为(如谄媚)。机构已从 Schmidt Sciences、Halcyon Futures 等获得未披露金额,目标总计融资 4000 万至 1 亿美元,未来 18 个月投入 3000 万美元用于训练。

    1条报道 ·1个来源查看事件时间线与全部报道
  8. Domani · 收录 · 原文 新闻36

    意大利巴勒莫法官用 AI 撰写判决书,机器提示语被原样留在文中(原文,在新标签页打开)

    意大利巴勒莫税务法院第 11 庭于 2 月 17 日发布的第 981/2026 号判决书中,在事实部分与裁判理由之间出现了一段生成式 AI 助手的回复原文,内容为“完美。我已删除重复内容、精简冗余部分、合并关于保全性质和比例性的重复段落”,并附有“以下是重新整理后的文本,可直接插入判决书”。该段文字被连同引导语一起复制进判决书,说明文本未经复核。文章指出,依据 2025 年第 132 号法律第 15 条,法官使用 AI 辅助本身合法,但法律解释、事实与证据评估及裁判决定必须保留给法官本人;此案的关键不在是否使用 AI,而在于输出未被审阅,可能反映自动化偏见下法官只“批准”而非“决定”的风险。文章同时说明,仅凭残留语句无法断定 AI 代替合议庭作出裁判,也可能只是用于整理草稿,判决结果本身并无异常,但文本存在笔误、当事人立场与法官认定混杂等粗糙痕迹。

  9. 实践哥 Li · 收录 · 原文 X14

    PewDiePie 微调 Qwen 3.5 9B 发布本地模型 Ajax 遭 OpenAI 两次封号(原文,在新标签页打开)

    PewDiePie 发布本地模型 Ajax,基于 Qwen 3.5 9B 微调。他尝试用蒸馏 OpenAI 模型输出作为种子数据,并研究了一篇解密 reasoning token 的论文,结果账号两次被封,申诉解封后再跑又被封。

    1条报道 ·1个来源查看事件时间线与全部报道
  10. Stolen Thoughts · 收录 · 原文 日期未知新闻59

    研究者称仍可通过第三方云聚合商窃取美国前沿模型的推理轨迹(原文,在新标签页打开)

    研究者对 OpenAI、Anthropic 直连端点及 AWS Bedrock、Microsoft Azure、OpenRouter 等下游云聚合商做了审计,发现厂商针对推理轨迹提取的修补碎片化且易被绕过。推理重放攻击在 Azure 上对每个 OpenAI 模型(含 GPT-6 Astra)以及 Anthropic 直到 Sonnet 5 的模型仍间歇有效,一次解码即可逐字还原轨迹;scratchpad 攻击仍能从所有 OpenAI 模型以及 Opus 4.8、Sonnet 5 提取推理,目前只有 Opus 5、Fable 5、Fable 5.1 不暴露推理。作者指出下游主机存在补丁传播延迟和策略漂移,攻击者无需绕过主厂商护栏,只需把请求路由到未同步防护的下游主机即可,并建议对无法同步执行推理轨迹保密与工具范围护栏的云主机不予授权。

    推荐理由作者实测多家云聚合商上的推理轨迹提取,指出厂商补丁在下游存在传播延迟,可据此检查多云部署的防护一致性。

    5条报道 ·5个来源查看事件时间线与全部报道
  11. Matthew Green · 收录 · 原文 X29

    沙箱能否遏制失控AI智能体(原文,在新标签页打开)

    我一直在读信息安全人士和AI对齐研究者之间关于沙箱的争论,我在这篇文章里试着做了一些总结和评判。https://blog.cryptographyengineering.com/2026/09/30/is-sandboxing-sufficient-to-contain-rogue-agents/

    1条报道 ·1个来源查看事件时间线与全部报道
  12. Alexander Panfilov · 收录 · 原文 X35

    模型感知 token 预算后思维链更压缩(原文,在新标签页打开)

    我觉得这实际上可能是改进后的 CoT 可控性在真实场景中的一个实例——模型越注意到自己"预算快用完了",思考就变得越压缩 @tomekkorbak @MicahCarroll

    1条报道 ·1个来源查看事件时间线与全部报道
  13. Johann Rehberger · 收录 · 原文 X9

    Dot 偏离脚本时的处理选项(原文,在新标签页打开)

    如果你的 Dot 偏离了脚本,系统注意到它可能有点不对齐,你可以: 1. 继续 2. 把整个东西删掉 💥(相当核弹了哈哈) 但也有一个审查链接,会解释什么被标记了以及为什么停止执行,这挺酷的但在 UI 上不太明显。

    1条报道 ·1个来源查看事件时间线与全部报道
  14. Johann Rehberger · 收录 · 原文 X15

    "Agent Security is a Systems Problem" 获 NeurIPS 2026 口头报告(原文,在新标签页打开)

    NeurIPS 2026!冲!!🚀🚀 非常激动,我们关于 "Agent Security is a Systems Problem" 的工作被选中做口头报告。 🙌 感谢 @EarlenceF @christodorescu @jhasomesh 等人。

    1条报道 ·1个来源查看事件时间线与全部报道
  15. Johann Rehberger · 收录 · 原文 X11

    AI公司内部红队承诺引质疑(原文,在新标签页打开)

    AI公司同意设立内部红队。👀 👍 希望能看到他们发的帖子,发现能直接送到董事会,而不是经过层层过滤的报告。🍿 现实检验:我们偷了所有模型权重,还在生产环境里插了几个后门……而且从去年五月起就一直保持着持久访问权限,并且我们做这些完全没用任何AI。😂 不过,这大概不够格写一篇花哨的营销博客文章吧。🤔

    1条报道 ·1个来源查看事件时间线与全部报道
  16. Google DeepMind · 收录 · 原文 新闻43

    Google DeepMind 推出 SynthID Bio,为 AI 生成蛋白质与结构加水印(原文,在新标签页打开)

    Google DeepMind 发布 SynthID Bio,将水印技术引入合成生物学,把不可感知的签名直接嵌入生物代码,使水印既能在数字模型上验证,也能在合成出的实体蛋白质上验证,同时保持其生物功能。该方法按数据类型调整策略,对序列微调氨基酸选择,对预测的 3D 结构调整原子坐标。在 AlphaProteo 与 SynthID Bio 版 ProteinMPNN 的实验中,针对 VEGF-A、SARS-CoV-2 spike 蛋白 RBD 和 PD-L1 三个靶点的水印设计在命中率、结合亲和力与序列多样性上与未加水印版本相当,作者称这是首批带水印且具备生物功能的蛋白质结合体。

    4条报道 ·3个来源查看事件时间线与全部报道
  17. Florian Tramèr · 收录 · 原文 X50

    张杰谈VLM提示注入防御思路(原文,在新标签页打开)

    当 @JieZhang_ETH 提出这个项目时,我开玩笑说我知道这想法来自他而不是 LLM,因为它太古怪了。 我这是赞美! 当我们被 AI 垃圾研究淹没时,偏离常规、尝试古怪的东西比以往任何时候都更重要。

    1条报道 ·1个来源查看事件时间线与全部报道
  18. Florian Tramèr · 收录 · 原文 X28

    作者称已穷尽攻击评估思路(原文,在新标签页打开)

    见过太多被攻破的防御(其中不少是我自己做的),人会变得有点偏执。 所以我一直推动做更多攻击评估,我们的结果也因此更扎实 :) 不过,仍然不能保证不会有更聪明的攻击出现,但我知道我们已经穷尽了自己的想法(还有预算……)

    1条报道 ·1个来源查看事件时间线与全部报道
10月2日周五
  1. 时事通信 · 收录 · 原文 新闻32

    高市早苗首相请 Apple 在生成式 AI 中加入自杀防护功能(原文,在新标签页打开)

    日本首相高市早苗在 X 上表示,已向 Apple 会长库克提出请求,希望在该公司设备搭载的生成式 AI 中实现有助于自杀防护的功能。她称收到库克介绍 Apple 设备安全对策的来信,并指出儿童与青少年自杀已成为严重课题、越来越多有烦恼的孩子向生成式 AI 倾诉,因此要求加入相关防护功能。