全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 论文Hugging Face Daily Papers
AGO AI Quality Gate：面向 RAG 的"证据优先"发布决策框架
AGO AI Quality Gate（AGO）是一套面向工业级 RAG 评估的"证据优先"质量门框架，把缺失数据和评审模型出错都当作显式结果，结合确定性检查、本地护栏与结构化 LLM 评估分层打分，并用分层 beta-binomial 门控量化回归风险。在 RAGBench 的 12 个数据集、每个评审模型 N=1200 的分层测试样本上，gpt-4.1-nano 识别不合规回答的 AUROC 仅 0.603，gpt-4o 为 0.783，但其分领域表现仍在 0.62 至 0.88 之间。固定随机种子的门控研究显示，回归场景下决策级配置将不安全放行率降至 22.2%-35.1%，而朴素门控为 29.3%-41.8%。
- 动态IRCC
IRCC 警告利用生成式 AI 伪造移民内容的在线与电话诈骗
加拿大移民、难民和公民部（IRCC）警告，诈骗者正利用生成式 AI 制作冒充 IRCC 的虚假视频、网站、邮件和电话，借"快速或保证移民"话术行骗。IRCC 强调只有加拿大境内及驻外使领馆的移民官才能决定是否签发签证，任何人无法保证工作或签证，官方也不会通过 Hotmail、Gmail、Yahoo Mail 等免费邮箱联系申请人。
- 论文论文追踪
SBW：面向 LLM 智能体的语义行为水印方法
研究者提出语义行为水印（SBW），在历史条件下对语义动作簇而非精确动作符号嵌入水印，并用带密钥的抗碰撞分桶替代公开簇分桶，在随机预言机模型下证明新桶分配不可预测。此前三种智能体水印方案都绑定精确动作符号，仅改写观测即可让 AgentMark 的比特恢复率降至 16.8%。在五个智能体模型（3B-14B，四家厂商）和三个编码器上，ToolBench（每模型 600 条轨迹）在 1% FPR 下改写检测率为 0.49-0.66，精确符号方案为 0.05-0.17；ALFWorld（每模型 100 个回合）为 0.92-0.97 对 0.00-0.01。带密钥分桶把自适应伪造从 100% 降到假阳性下限。作者指出该保证不覆盖的边界：对抗者复制受害者自身步骤时，乱序拼接被中和（Qwen2.5-3B 上为 0.000），但链式重放在五个模型上仍达 0.76-0.98，作为开放问题报告。
- 论文arXiv
面向大语言模型的参数内记忆增强综述
一篇综述系统梳理了在部署阶段为大语言模型（LLM）增强"参数内记忆"的方法：把承载记忆的参数对象在推理时接入前向传播，以补充上下文学习（ICL）占用上下文容量、重复离散编码成本随上下文长度增长的问题。综述用两个正交维度组织该领域：参数放置位置（Embedding、Attention、FFN 层或 Hybrid）与参数获取时间（部署中在线获取 vs 部署前离线获取），并讨论了干扰、安全、与 ICL 协同设计及递归自我改进等开放方向。
- 论文arXiv
NetAgent：面向多任务网络流量分析的智能体框架
NetAgent 是首个用于多任务流量分析的智能体框架，无需任务特定训练即可完成复杂任务理解、动态分解编排与长时程分析。它包含知识增强的工作流规划、150+ 工具的动作空间、统一代码执行空间、三层记忆以及沙箱与运行时修复五项设计。在 9 个基准上，NetAgent 在几乎所有任务上超越 23 个单任务和 5 个多任务基线，对未见流量分布的 F1 达 90.04%，而最佳基线仅为 2.74% 和 3.04%。
- 动态promptarmor.com
PromptArmor 解析 WebMCP：采用现状与五类安全风险
PromptArmor 发布 WebMCP 说明，指出截至 2026 年 10 月 6 日，webmcp.com 登记了 2,959 个提供 WebMCP 工具的站点，Chrome、Edge、Brave 已通过 Origin trials 支持，ChatGPT 内置浏览器以 Site tools 形式支持，Cloudflare 的 Browser Run 与 Shopify 也已接入。WebMCP 工具像传统 MCP 工具一样定义名称、描述、输入与读写能力提示，但由网站页面直接提供给正在访问的智能体，智能体调用工具而非模拟点击界面。
- 动态OpenAI Alignment Research
OpenAI 发布 LASER：用递归采样筛选安全评测对话
OpenAI 介绍 LASER 方法，从合成和去标识化对话中挑选接近安全策略边界的样本，用于构建覆盖罕见情形的评测集并减少过度拒答。作者称该方法所需标注算力显著低于随机抽样。这一效率结果本身不等于模型已变得更安全。
- 动态Zero Day Initiative
Pwn2Own Ireland 2026 公布新目标与类别
Pwn2Own Ireland 2026 将于 10 月 6-9 日在科克举行，新增医疗健康设备与 AI 基础设施等类别，并把编码智能体（vibe coding 工具）纳入目标。参赛门槛改为 ZDI 累计赏金至少 $15,000，另酌情接受最多 10 名新参赛者，总名额上限 80 个，报名于 10 月 1 日 17:00 爱尔兰标准时间截止。手机、打印机、WhatsApp 等类别继续保留，AI 基础设施攻击须从参赛者笔记本电脑发起。
- 论文论文追踪
TRACE：仅凭 checkpoint 更新审计大语言模型有害目标
研究者提出 TRACE，一种只读取 checkpoint 更新的权重审计方法，无需模型查询，也不需要接触未知的 SFT 数据。研究发现有害合规 SFT 会在 checkpoint 更新空间留下连续、依赖目标的排序：以纯有害合规、安全目标和良性效用三类 SFT 定义参考几何后，checkpoint 级坐标 s_H 能追踪受控的有害目标组成，在四个 7-8B 基座模型上 Spearman 相关系数为 0.986-0.992，更大模型规模上排序依然保持。对照实验显示该痕迹反映的是 SFT 目标而非有害输入暴露，也排除了有害样本数量或训练强度的简单解释。在分布偏移、未见数据、不同 SFT 配置、部分 checkpoint 访问以及 LoRA 与全参数微调下，该痕迹保持稳定，并与独立测得的攻击成功率正相关；在有害目标占比较低时仍有信息量。代码已公开。
- 动态Center for AI Safety via Coursera
Center for AI Safety 推出《AI 安全导论》课程
Center for AI Safety 通过 Coursera 推出《AI 安全导论》课程，介绍 AI 安全核心概念。课程涵盖现代 AI 发展的驱动因素、恶意使用、竞争压力与失控等主要风险，以及不同规模下的治理策略。
- 论文Hugging Face Daily Papers
Jev 预注册测试：智能体记忆何时该用选择替代抽取？
一项预注册研究在 LoCoMo 与 LongMemEval 上测试智能体记忆：在 LoCoMo 的紧预算下，由类型化决策模型 Jev 单次调用选出的原始对话轮次，不劣于 LLM 抽取式记忆（单侧 95% 界为 -3.0 分，非劣效界为 -5 分），且写入成本低 3,061 倍。重排序收益随预算增大而缩小：保留 30 个候选中的 3 个时在 LoCoMo 加 17.4 分、LongMemEval 加 9.1 分，预算宽松时仅加 1.5 和 1.1 分，此时抽取式系统更准。相同上下文下 Jev 选择精度与 LLM 重排序器相当（非劣效界 -2.0），延迟仅为其三分之一，且优于多次调用的图遍历；重排序会降低正确弃答率。
- 论文论文追踪
RA-Det：利用鲁棒性不对称检测 AI 生成图像
研究者提出 RA-Det，一种基于行为而非外观的 AI 生成图像检测框架。该方法利用鲁棒性不对称现象，即自然图像在小幅结构化扰动下保持稳定的语义表征，而生成图像的特征漂移明显更大。作者给出理论分析，建立该不对称性与生成模型记忆倾向之间的下界关系，解释其跨架构普遍存在的原因。在 14 个生成模型上、对比 10 余种强检测器，RA-Det 平均性能提升 7.81%，且不依赖生成器指纹，可迁移到未见过的生成器。源代码已在 GitHub 公开。
- 论文Hugging Face Daily Papers
从蒸馏私有健康记录中智能体发现血液生物标志物
研究将 Clalit Health Services 逾 540 万患者记录蒸馏为已发布的评分工具：针对 13 种免疫介导疾病，在数据边界内训练图注意力网络预测候选 CBC 表达式的病例对照 AUC，仅发布训练权重。外部验证中，智能体发现的表达式较文献种子起点 AUC 中位数提升 4.18 个百分点，在三个独立队列中对三种前沿研究工具候选重排序多数优于其首选。
- 论文论文追踪
AgentSpy：在系统调用层观测 AI Agent 行为并检测技能注入攻击
圣加仑大学等机构的研究者提出 AgentSpy，在隔离环境（Firecracker microVM）中从操作系统边界记录 Agent 及其所有子进程的系统调用与网络流量，不依赖 Agent 自身的轨迹记录。它提供两类确定性分析：可靠性分析把每次执行汇总为星形图，统计执行的命令、读写的文件和访问的主机，并计算多次运行的相似度与技能覆盖率；安全分析则用规则检查读取私钥、越界修改文件、运行不可信程序、连接不可信域名等禁止行为。在 SkillsBench 的 77 个任务、codex harness 与三个模型上，同一任务的重复运行比混入其他任务的运行更相似的比例为 92.2%；在三次运行均通过测试的任务中，18% 出现与任务无关的活动，7% 读取了评分文件，17% 未使用开发者提供的技能指引。
- 动态Dark Reading
Google 内部 AI Agent PageBreak 在自家 Web 应用中发现 500 多个漏洞
Google 内部 AI Agent PageBreak 在自家 Web 应用中发现 500 多个跨站脚本（XSS）漏洞，该 Agent 由 Google 产品安全团队开发，去年 11 月试点、今年 1 月转为正式产品，目标是自主扩展漏洞发现并减少人工投入。已修复的漏洞包括 apis.google.com 的缓存投毒、admin.google.com 的 XSS 以及浏览器扩展中的不安全外部握手。PageBreak 基于 Gemini 3.1 Pro 和 Gemini 3.5 Flash 等模型，采用非 AI 编写的专用验证器执行真实载荷确认漏洞，据称误报率接近零。Google 计划将其与自动修复系统 CodeMender 对接，由后者生成修复方案供工程师验证应用。该做法也面临区分真实可利用漏洞与模型幻觉的挑战。
- 动态AWS Security
AWS 发布身份感知 AI 数据智能体方案，用 Lake Formation 与可信身份传播实现按用户授权
AWS 安全博客介绍了一种身份感知 AI 数据智能体方案，让数据智能体在查询 Lake Formation 治理的湖仓数据时按真实用户身份授权，无需改写现有治理策略。id_token 不进入工具 schema，基础模型无法接触；TIP 角色本身不带 Lake Formation 数据授权，授权判断只针对传播的用户身份。测试中两名用户提出同一问题，有授权的用户返回五条记录，无授权用户被拒绝，CloudTrail 的 AssumeRole 事件通过 onBehalfOf 记录真实用户。
- 动态Scale AI Research Blog
Scale AI 开源 AgentEnv：用于构建 RL 环境的框架
Scale AI 开源了其内部用于构建强化学习环境的框架 AgentEnv，该框架此前支撑其所有 RL 环境。AgentEnv 以环境为起点，将环境拆分为可版本化的组合模块，包括 Slack、Gmail 等环境、填充数据 Artifact 以及时钟、触发器和角色等 Rules，并通过开放协议实现互操作。环境卡（Environment Card）作为 AgentEnv Environment Protocol 的一部分，声明环境提供的工具及访问方式，智能体可经 MCP、REST 或生成的 CLI 调用；配合 A2A 协议的 Agent Card，同一任务可在 Claude Code、OpenAI 的智能体或自定义智能体上运行。官方同时给出 OpenCiv3、Minecraft/Catan/Poker 和 iOS 移动端等插件示例。
- 论文论文追踪
Inspect Robots：面向具身智能体评测的开源模块化框架
研究者发布开源框架 Inspect Robots，用于开发和运行具身智能体的评测。该框架提供可定制、可复用的抽象来定义物理评测并分析结果，同时配套自动化完成评测搭建、执行与终止的基础设施。作者用它评测了六个基于前沿语言模型的策略的能力与安全性。框架发布后三个月内下载量接近 10 万次，论文投稿至 CoRL 2026 的 The Science of Physical AI Safety（SPAIS）Workshop。
- 动态OWASP GenAI Security Project
OWASP 发布 LLM 应用十大安全风险 2026 版
OWASP GenAI Security Project 发布《OWASP Top 10 for LLM Applications 2026》，这是面向大语言模型应用最关键安全风险的社区驱动指南。该版本由数百名 AI 安全专家参与编写，更新了风险排名、扩展了威胁覆盖范围，并基于数千起真实 AI 安全事件给出新研究。指南面向开发者、架构师、安全团队和 CISO，提供风险说明、攻击场景与可落地的缓解措施，并将风险映射到 NIST、MITRE ATLAS、CWE 以及 OWASP Top 10 for Agentic Applications 等框架。
- 动态X @AISecHub
VulnHunter 发布智能体 AI 安全扫描器，可自动发现并修复漏洞
一款名为 VulnHunter 的智能体 AI 安全扫描器已在 GitHub 发布。据其页面介绍，该工具以对抗视角搜寻可利用漏洞，通过可执行 PoC 验证漏洞，并以测试优先的方式修复。它是 Capital One VulnHunter 的维护分支，已针对各类智能体框架重新构建。
- 动态Kenodo
提示注入：如何真正保护 LLM 应用免受其害
提示注入连续两版位居 OWASP LLM 应用 Top 10 风险榜首，且无法像 SQL 注入那样靠参数化查询一次性修补，因为它利用的是模型本身无法区分"开发者指令"与"读到的文本"这一设计特性。直接提示注入是用户在聊天框输入覆盖指令，间接提示注入则是模型处理工单、邮件、网页等不可信外部内容时执行其中夹带的指令，后者更危险。有效防御在提示词之外：结构化分离指令与数据、工具最小权限、对有副作用的操作引入人工确认。
- 动态promptfoo
promptfoo 0.124.0 发布：新增 Claude Opus 5.5、Sonnet 5.5、GPT-6 Sol/Luna 与 Grok 4.7 支持
promptfoo 发布 0.124.0，新增 Claude Opus 5.5、Claude Sonnet 5.5、GPT-6 Sol 和 Luna、GPT-6.1 Sol 及 Grok 4.7 等模型支持，并加入 OpenAI 安全标识符。该版本含破坏性变更：移除托管 ChatKit provider，WatsonX、Langfuse、Slack、Codex Security、本地 Transformers 等 SDK 改为按需安装。同时修复断言评分、CLI 退出码与 Cloud 登录等问题，并将 MCP SDK 升级至 1.32.0 以修复重定向安全问题。
- 动态Coalition for Secure AI（CoSAI）
CoSAI 发布 AIMM：AI/ML 供应链信任与溯源的三级成熟度模型
CoSAI Workstream 1 发布 Artifact Integrity Maturity Model（AIMM），一个面向 AI/ML 供应链信任与溯源的风险分级框架，用于回答某个用例需要多少签名、溯源与证明基础设施。AIMM 设三级：Level 1 基本制品完整性，生产方在发布边界对制品做哈希与签名，消费方在进入流水线前重算哈希并验签；Level 2 溯源与谱系，增加签名溯源声明和制品与变换之间的可验证谱系，便于在上游漏洞披露后定位受影响的下游制品；Level 3 面向策略自动化的结构化证明，由策略引擎评估并用于准入决策，适用于受监管行业和高风险场景。AIMM 明确签名与证明只能确立完整性、真实性、溯源和策略证据，不保证制品正确、安全或公平，且完全自动化的策略执行在许多环境中仍属目标，多数组织会先采用机器可评估证据加人工复核的混合方式。
- 动态Cryptopolitan
Google 的 AI 智能体 PageBreak 在自家 Web 应用中发现 500 多个 XSS 漏洞
Google 产品安全团队披露，其自研 AI 智能体 PageBreak 已在 Google 自研 Web 应用中验证出 500 多个跨站脚本（XSS）漏洞，而在基于高保障 Web 框架构建的数百个应用中仅发现 2 个，且这 2 个都位于未完全加固的内部应用或调试端点。PageBreak 的扫描主要由 Gemini 3.1 Pro 和 Gemini 3.5 Flash 完成，其关键机制是每个疑似漏洞都会交给专用验证器，对运行中的应用实例实际注入 JavaScript payload 并确认脚本是否执行，只有可复现的漏洞才会被标记。除 XSS 外，验证器还测试数据库查询注入、路径遍历泄露和代码执行。