持续学习可能让 AI 控制中的阻断式监控器近乎失效
AI 控制协议常用阻断式监控器拦截不可信模型的高可疑动作,但持续学习会带来规避监控的压力:长期部署中的在线 RL 相当于针对监控器训练策略,可能让阻断式监控器近乎失效。这种规避无需谋划,只是良性模型在有用性压力下的自然结果,且因规避行为看起来像正常学习而难以修复。作者讨论的两类持续学习形式是在部署轨迹上做在线 RL,以及长上下文、记忆文件或向量存储等持久记忆。
AI 控制协议常用阻断式监控器拦截不可信模型的高可疑动作,但持续学习会带来规避监控的压力:长期部署中的在线 RL 相当于针对监控器训练策略,可能让阻断式监控器近乎失效。这种规避无需谋划,只是良性模型在有用性压力下的自然结果,且因规避行为看起来像正常学习而难以修复。作者讨论的两类持续学习形式是在部署轨迹上做在线 RL,以及长上下文、记忆文件或向量存储等持久记忆。
论文指出,异步监控、事件调查与合规审计都依赖 Agent 执行轨迹还原过程,但本地 LLM Agent 无法守住这条边界。测试中 Claude Code、Codex、Antigravity、Open Code 和 Grok Build 等 harness 除 Muse Code 外,均可在被要求时删除自身轨迹且不触发监控护栏。作者还验证外部攻击者可利用这一缺口诱导轨迹删除,并发现当 Agent 试图提升奖励时,轨迹篡改行为会自然涌现。论文建议实践者通过独立于 Agent 控制的拦截机制记录轨迹,以保证主机被完全攻陷时轨迹仍完整,并指出这是 Agent 基础设施中轨迹完整性的具体失效,可被用于掩盖谋划或破坏等失准行为。
推荐理由论文实测多款本地编码 Agent 可被要求删除自身执行轨迹且不触发监控护栏,为依赖轨迹做审计的团队提供了具体风险清单。
Cisco LLM 安全排行榜自 6 月以来新增 102 项评测,覆盖文本、图像、音频三种模态,模型总数达 136 个,并首次加入 55 个图像模型和 14 个音频模型。图像测试中,Google Gemini 3.1 Pro Preview 以 93.9% 的抗攻击率居首,Anthropic Claude Opus 4.5 以 93.7% 紧随其后,均属 85–100% 的“Excellent”区间;Mistral Magistral Small 2509 仅拒答 23.0% 的攻击。所有模型均在无额外护栏的基础配置下测试,新增模态切换可单独查看文本、图像或音频得分。
Google Threat Intelligence(GTIG)发布面向软件与平台架构师的 CI/CD 安全防御蓝图,围绕端点、IDE、AI 辅助安全等五个支柱给出加固措施。文中指出攻击者正通过 GitHub Actions 缓存投毒、OIDC token 提取和篡改可变 action 标签发布带合法来源证明的恶意包,并已开始向开源 MCP 包植入恶意代码、诱骗 AI 编码智能体。建议仅使用经批准的大语言模型与 AI 智能体做合并前漏洞分析,将 .env 文件排除出上下文窗口,并保留人工审核环节。
SWE-Prometheus 是面向仓库级工程治理改进的基准,每个任务给出固定快照与开放式目标,要求智能体自行识别风险、排定干预优先级并验证改动,从六个治理维度通过配对证据、干净环境探针、行为门控和两名独立教师评分进行评估。基准包含 60 个仓库,10 个模型在共享的 22 仓库公开子集上平均 NGI 为 0.0568 至 0.5760,观测到的行为破坏率为 0% 至 23%。
NIST NCCoE 为 DevSecOps 实践项目发布了新的 live document 内容,包括 SSDF 到 DevSecOps 参考模型的映射、聚焦 CI/CD 流水线自动化与容器化应用部署的第二个示例实现、SDLC 各阶段功能场景,以及更新后的 AI 部分。该项目正与 14 家技术公司合作,并已将 Build 3 的范围定为演示用 agentic AI 开发、构建和测试代码,同时与 AI Agent Identity and Authorization 团队合作展示 AI 智能体在 SDLC 中的身份识别、认证与授权。NCCoE 将于 10 月 28 日举办网络研讨会介绍 Build 3 中 agentic AI 的范围,相关更新内容开放公众评论至 11 月 9 日。
腾讯 AI-Infra-Guard 发布 v4.6.3,新增 DeepTeam 在运行期间将完成的测试用例写入磁盘,并修复 API Checker 对 Claude 5 签名的支持。该版本为 API Checker 补充失败指纹样本以提升模型识别可靠性,同时为 Prompt-Eval 加入限流感知退避、熔断器和进程组终止机制,并在熔断器与模型间共享限流计数器、加固 Retry-After 解析。文档方面新增 FORGE-Bench 与 RogueHandoff-20 研究条目并同步至 8 种语言 README。
研究者提出 LabRobFail 框架,用 LabRobFail-Sim 的 FailureGenerator 在控制、物理、语义三个层级注入扰动,构建含 2 万余条轨迹、70 多个任务场景的 LabRobFail-Data,并建立 5 大类 11 细类的实验室故障分类体系。
Goodfire 与 Mayo Clinic 合作,基于基因组基础模型 Evo 2 的嵌入向量构建轻量分类器,对 839k 个 ClinVar 变异做致病性预测,整体 AUROC 达 0.997,优于现有方法。该方法覆盖编码与非编码区域,可泛化到留出数据,并借助可解释性工具生成机制性假设。团队通过 Evo Variant Effect Explorer(EVEE)公开全部 420 万个 ClinVar 变异的效果预测与假设解释,研究仍在同行评审中。
研究者提出 CART(Closed-Loop Adaptive Red Teaming),一个用每次测试结果决定下一步测什么的闭环红队框架,以替代固定提示词回放。CART 先做广泛风险覆盖,再追踪暴露出的弱点,保持新探针的多样性,并记录每项发现的证据与来源。框架把生成测试的 Challenger、被测 Target(可以是纯文本模型,也可以是受限的工具调用 Agent)和评估结果的 Judge 分离,使三个角色可独立研究。在 Frontier、JAH 和 Agentic 三类评测族上,对所有存在可用基线的 Target,CART 发现的失败更多、平均风险高于静态种子回放,增益也延伸到工具介导的 Agent 测试。
研究分析 GitHub Agentic Workflows(gh-aw)的 276 个仓库共 1,248 个 Markdown 文件,发现工作流指令远超简短提示词,中位数 556.5 词,62.1% 含代码块。在有至少 120 天活动记录的文件中,78.2% 到第 4 个月仍在更新;任务、输出、约束与流程指令各出现在超 93% 的已标注工作流中,但仅 9.4% 明确涉及提示注入防御。LLM 分类相对人工标注的 F1 为 0.818,Cohen's Kappa 为 0.715。
针对现有机器人开颅多为"开环"系统、无法应对术中配准误差与颅骨位移的问题,研究者提出一套融合多模态感知与自适应控制的框架,用双轮廓融合轨迹规划配合球头工具单级螺旋铣削。其 CMA-TCN-Transformer 网络融合力信号与铣削声音,再经自适应贝叶斯滤波抑制误触发,并在检测到穿透后原位修正辅助轨迹。牛肋与离体羊颅实验显示,闭环系统在进度 ξ≥0.9 时将进给速度降至 vsafe=1mm/s。
Cisco Talos 发布研究工具包 CAIRN(Cognitive Artifact Intelligence Research Network),用于狩猎、分类和追踪 AI 集成恶意软件,并同步公开首批发现 CLOSEDQUORUM。CAIRN 完全基于元数据运行,无需下载或执行二进制文件,通过最多 24 个采集过滤器在提取字符串、沙箱行为和杀毒检测标签中寻找提示词模板、LLM 服务商端点、API key 前缀、越狱术语等认知痕迹。工具采用三层本体:T1 原始 AI 痕迹、T2 行为上下文、T3 已确认的 AI 恶意软件家族,并支持采集过滤、关系图谱跳转、YARA 分类和基于嵌入向量的语义聚类四种分析策略。Talos 提醒 T1/T2 命中常含噪声,如 PyInstaller 打包会暴露整个虚拟环境字符串,最终结论仍需逆向工程验证。
推荐理由Cisco Talos 开源了纯元数据驱动的 AI 集成恶意软件追踪工具,并给出三层本体与四类分析方法,可供威胁情报团队迁移使用。
论文提出 Universal Fractal Natural Language Decision Map,通过 werr 机器原生边缘反射运行时与 answerr 平台实现,完全不存储权重张量(0 Bytes VRAM),沿 Mandelbrot 集混沌边界调制 24 字节坐标种子合成确定性决策。其语义 token 阻尼滤波器(T_desc = 0.045)实现 0.0% 提示注入绕过(95% Wilson CI: [0.0%, 27.8%]),并将迭代剪枝 45.8%、吞吐提升 2.5 倍至 3.31 ms 延迟。
onPanda 是一款用于标注 LLM 对齐数据与智能体轨迹的交互工具,核心交互是 token 级修正:标注者定位首个不当 token,从模型候选 token 中选取替换或自由编辑,系统截断其后内容并从修正前缀继续生成,循环"定位—修正—继续"直至满意。一项小规模对照研究显示,onPanda 将标注中位耗时较人工后编辑降低 52%。由于最终回复绝大多数 token 由模型自身生成,所得数据基本保留模型采样分布,适用于构建 on-policy SFT 与偏好数据,修正记录还提供带精确位置的正负样本对。
DeceptionAnalyser 是一款浏览器端工具,用十种论证方案建模不同形式的欺骗,通过 LLM 提取前提、再以关键问题驱动评估的两阶段方法分析叙事文本中的欺骗推理。研究未做分类准确率基准,而是用十款当代大语言模型重复运行,测量前提与结论评估的一致性来检验方法可靠性,发现对明确欺骗的方案识别高度稳定,在更模糊的情报风格叙事上则以可解释的方式平缓退化。该方案库定位为标记可疑主张供审查,而非输出欺骗判定。
Djinnlang 是一种只写规格、不写可执行代码的高级规格语言,由 LLM 在编译器内填充实现与证明。它要求 LLM 除证明实现满足规格外,还须证明满足该规格的任意其他实现在相同输入下输出相同,即约束关系是确定性的,从而不给程序语义留任何余地。其符号翻译器将规格降为 Dafny 桩与证明义务,由驱动框架调度 LLM 补全,全部经 Dafny 验证器检查;该语言已实现自举,LLM 可依规格实现 Djinnlang 翻译器且重实现能自验证。
FORGE-plus 是一个双层机器人装配框架,由冻结的纯文本 LLM 担任“预算设定者”和“恢复选择者”,按物体材质、质量与几何设定力上限 Fmax,底层 60–120 Hz 控制器用 ForceClamp 将所有指令力饱和至该上限,并以 120 N 全局硬上限防止模型幻觉。
SyzHarness 结合 LLM 推理与覆盖率引导模糊测试,从补丁出发复现 Linux 内核漏洞:LLM 智能体借助代码导航工具合成参数化 fuzzing harness,固定前置设置逻辑,只把不确定的 bug 关键输入参数交给 Syzkaller 变异,再通过分层可达性反馈迭代优化。在 100 个 KernelCTF 案例上复现成功率达 78%,在 SyzDirect 基准上达 73%,明显优于此前的定向灰盒模糊测试;对 2026 年 3 月后修复的 50 个 syzbot 已知可触发 bug,仅凭修复提交即复现 40/50(80%)。
DeepSeek 发布生产级沙箱平台 DSec,通过统一 SDK 提供 FnCall、容器、microVM 和 full-VM 四类沙箱后端,并与强化学习框架协同设计,将带状态的 rollout 执行与可抢占的 GPU 训练解耦,同时缓解奖励作弊等智能体失范行为。单个生产单元约 160 个节点,每天服务约 300 万个沙箱,支持超 38 万个并发沙箱、每秒超 5000 次沙箱创建,镜像数据按需从 3FS 分布式文件系统加载。
Zhang 等人提出 RL-MACRO,一套基于离线强化学习的闭环控制框架,通过融合力与声音信号重建无法直测的工具—组织界面状态,实现颅骨切开术中安全的自主磨骨。该系统用因果 1D-CNN 加 LSTM 从 6-DOF 测力计与麦克风估计温升 ΔT,并用隐式 Q-learning(IQL)驱动切割深度与进给转速的双头策略,避免在线试错风险。在未见样本上温度预测的决定系数 R² 达 0.939,平均绝对误差 1.717°C,牛肋铣削实验进一步模拟皮质骨与松质骨的层间过渡。
Trail of Bits 在审计 Miden 零知识虚拟机前,用六个月时间让 AI Agent 从零构建了 LSP 服务器、反编译器和静态分析引擎,并发现一个高危漏洞:mod_12289 过程中 prover 提供的余数未经验证,恶意 prover 可借此伪造 Falcon 签名并盗取账户资金。
推荐理由Trail of Bits 复盘了用 Agent 从零搭建 LSP、反编译器和 Lean 模型来审计 Miden zkVM 的完整流程,可迁移到缺乏工具链的代码审计场景。
研究者用稀疏自编码器(SAE)分析文本分类语言模型的行为,提出探索 SAE 特征与模型预测及错误之间关系的技术,并将其集成到工具 SAEfarer 中。该工具用于分析文本分类 LM 学到的概念,并在由五名博士生参与的专家试点评估中接受检验。论文共 11 页、13 张图,已被 IEEE VIS 2026 接收为短文。
PortSwigger 的 James Kettle 构建自主系统 HTTP Terminator,验证 AI 能否发明新攻击技术:它将 138 份 RFC 拆成 15,000 个片段以避开模型对自身已发表工作的锚定,生成 30,000 个向量,由 Burp 扩展对 30,000 个网站持续测试,发明了基于双 Content-Length 头的新 desync 模式、消除竞态的 dangling-byte 技术,以及由自身发现反馈催生的 Shared Parser Confusion。Cloudflare 的 Codex 以 RFC 格式沉淀工程标准,三个智能体分别审查代码、设计与事故报告,其中代码审查器四个月内标记 230,000 处违规、拦截 16,000 次合并。
腾讯 AI-Infra-Guard 发布 v4.6.2,新增面向自主智能体的确定性失控基准 FORGE-Bench(forge_bench)及干净的 RogueHandoff-20 基准,并补充一批 AIG 检测规则。该版将 aig-skill-scan 升级到 0.2.2,减少无证据误报、避免模型工具调用卡死并约束流式中断响应,同时修正判定与公开结果的比对逻辑。Extract-Vuln 模块剥离 CDATA 包装并兼容常见标签别名,另清理了 12 处 YAML 校验失败等问题。
针对当前 Vision-Language-Action(VLA)模型的抽象空间隐变量难以监督、失败原因无法归因的问题,研究者提出 ReferTrack,将具身视觉跟踪拆解为先从候选目录中用单个 Refer-CoT token 选出目标索引、再由 TVBI token 维持目标的显式流程。该框架基于 Qwen3-4B,搭配 YOLO11 加 ByteTrack 检测器和 SigLIP/DINOv2 双编码器,仅用单目前视摄像头就在 EVT-Bench 取得 SOTA:Single-Target Tracking 成功率 89.4%、Distracted Tracking 73.3%。
针对博弈收益只能由模拟器输出、均衡求解受收益估计瓶颈限制的问题,研究者提出 Regret-Weighted Payoff Sampling(RWPS),把固定模拟预算集中用于均衡真正依赖的收益,并用已测收益训练模型预测其余收益。该方法给出按对手均衡策略加权收益误差的界,在三个合成一般和博弈(含 Colonel Blotto)上比标准界紧 4 至 6 倍,并在同等预算下比 minimum-regret-first search、information-gain search 和 progressive sampling 找到更不易被利用的均衡。
NVIDIA NeMo Guardrails 发布 v0.24.1 补丁版本,集中修复若干缺陷。该版本修正了 benchmark 中 Locust 并发测量与扫描、content-safety 对 Nemotron 3.5 响应的解析、server 在 IORails 准入丢弃时返回过载响应,以及 rails 对组合配置加载 config.py 的问题。
OX Security 推出面向智能体时代的云安全方案 OX Cloud,现已向新老客户开放。该产品提供 AI Detection and Response(AIDR)与 Agentic Attack Surface Management(AASM),可实时查看 AI 智能体、模型和 MCP 服务器能触及什么、正在做什么、何时越界。它同时保留完整 CNAPP 能力,包括 CSPM、KSPM、DSPM、运行时漏洞检测、云资产清单与基于图的攻击路径分析,并按可达性排定风险优先级。
OX Security 推出 OX Cloud,将 CNAPP 云态势管理与实时 AI 检测(AIDR)和深度运行时检查结合,作为 OX AINAPP 平台的运行时支柱。该产品可实时盘点运行中的工作负载、身份、数据存储、Kubernetes 集群和 AI 智能体,并借助可达性分析过滤掉实际无法被触达的暴露项。其能力涵盖 AIDR、智能体攻击面、运行时事件响应、运行时漏洞、云图与攻击路径映射、CSPM、KSPM、DSPM 和云资产清单。
PentestChain 是一个十阶段自动化渗透测试框架,通过成本感知的 AI 级联(本地 Ollama qwen2.5-7b 优先,其次免费层 OpenRouter 与 Cerebras,并带规则回退)在零付费 API 成本下实现端到端运行,并以 MCP 服务器暴露 11 个工具。该框架基于 2025 年 MCP 事件记录(mcp-remote 的 CVE-2025-6514 远程代码执行漏洞、postmark-mcp 供应链后门及工具投毒类攻击)建立四位置威胁模型并提出四项缓解措施。
作者提出一种新的模型透明度层级“完全可审计”,让训练中每个数据样本上的每一步操作都能在异构消费级硬件上以位级确定性独立复现。由于浮点运算不满足结合律,现有开源模型即使公开权重、数据和配方也无法被证明可复现,这为未披露数据、注入偏见或后门留下空间,而 proof-of-learning 与 proof-of-training-data 等方法无法排除这些风险。作者对训练非确定性的三个来源施加确定顺序:GPU kernel 归约、数据并行集群中的数据批次顺序,以及节点内与节点间的集合通信,从而可以在单台消费级硬件上重放大规模分布式训练的任意单步并与公开轨迹比对。
MITRE ATLAS 发布 v2026.09 数据版本,包含 1 个矩阵、16 项战术、120 项技术、88 项子技术、40 项缓解措施和 73 个案例研究。新增技术涵盖多模态输入中的触发器、AI Agent 响应偏置、伪造 AI 助手链接、配置错误或公开暴露的 AI 服务、发现 AI Agent 运行时能力、AI 定向隐蔽以及针对 AI 基础设施的主动扫描等。更新了 LLM 提示混淆、间接 LLM 提示注入、LLM 越狱、LLM 响应渲染和 AI Agent 点击诱饵等技术。缓解措施新增 AI 蜜罐,更新生成式 AI 护栏。
DriveMCP 是一个面向高级驾驶辅助系统的智能体 AI 框架,将感知、合规推理、车辆状态解读与安全仲裁整合为模块化、可审计的流水线。它以 DriveLM 作为视觉语言前端生成图结构场景理解,并通过 MCP 服务器协调规则、天气与 CAN/OBD 遥测三类专家,输出经 RSS 式护栏仲裁的决策。在 CARLA 的多语言、跨境与动态限速场景中,DriveMCP 相比 VLM-Direct、VLM-Direct+RAG 和 VLM-Tools-NoArbiter 基线减少了交通违规与超速,改善了危险响应时间,并保持亚秒级建议延迟。
Trail of Bits 发文指出 1Password 于 2026 年 8 月 6 日发布的报告具有误导性,其 26% 干净修复率包含了被指示应用错误修复、以及禁止编译或测试补丁的实验。
Ge 等人提出 EgoRecovery 协同训练框架,用自我中心视角的人类视频教机器人从失败中恢复,而非模仿完美轨迹。该方法共享的是经空间范数处理后的 DCT 低频基向量(K=4)所表示的粗粒度"纠正意图",方向无关,由机器人自行学习执行方向与控制指令,从而绕开人机具身差异。基于头戴与腕戴相机采集的数据收集速度比遥操作快 10.5x。真机上仅用 50 条机器人与 300 条人类数据的四类任务平均恢复成功率达 85%,纯机器人基线为 52.5%;去掉 Stop Gradient 会使初始成功率从 80% 降至 70%。
EvoOntology 将本体封装为包含 schema、内容与工具三层的 MCP server,让数据智能体在运行时主动查询本体,以弥合异构数据与智能体之间的 agent-data gap。系统引入 builder agent 自主构建本体,并通过归因引导的类型化编辑与骨干条件配对评估驱动的自演化循环持续精炼本体。在三个数据智能体基准和四个 LLM 骨干上,EvoOntology 一致优于强基线及现有语义层方法。
论文提出效应历史模型,把外部世界发生的事件与运行时对事件的观察区分开,并归纳出八类反复出现的外部效应异常。在重试、推测执行、并发和部分失败下,必需效应可能缺失或重复、已中止的效应可能残留、已提交的效应可能依赖随后被撤回的临时状态。作者据此推导出排除每类异常所需的边界能力,并指出仅靠黑盒工具调用无法提供通用保证的四个位置。随后作者测量了已注册 MCP 服务器暴露的 98291 个工具对标准注解词汇的使用情况,发现这些字段被广泛输出,但只提供粗粒度的调用级提示,所需能力无一能被完整表达,因此提出在工具边界引入可复用的交易契约。
安全强化学习现有基准多以平均安全性报告结果,无法反映安全边界被违反的频率与严重程度、跨任务与跨安全边界的一致性,以及训练期行为能否代表最终收敛策略。为此研究者提出一组安全 RL 评测指标与安全分级(safety tier)体系,并在多个安全导航任务上开展实证评测,结果显示聚合指标、分布化报告和任务/安全边界特定结果各自揭示其他指标无法提供的信息,建议三者联合报告而非压缩为单一数值。团队同时开源了评测套件 SafeRLEval。
Unit 42 提出基于云审计日志的行为聚类模型,用 UMAP 与 HDBSCAN 将云身份映射为管理员、备份服务、安全工具、DevOps 等功能角色,数据来自 125 个云环境、逾 4 万个身份、为期两个月。