RULER:面向 SVG 生成的实例感知评分标准奖励
RULER 用实例感知评分标准为 SVG 生成提供强化学习奖励,无需配对 SVG 真值或人类偏好标注。它把每条指令转成覆盖语义、视觉、风格三个维度的六项评分标准,由 judge VLM 对渲染结果逐项打分,加权满意度经 GRPO 优化。在 MMSVG-Illustration 和 MMSVG-Icon 上,评分从 0.432/0.395 提升至 0.693/0.683,超过专用 SVG 模型并追平更大的 DeepSeek-V3。
RULER 用实例感知评分标准为 SVG 生成提供强化学习奖励,无需配对 SVG 真值或人类偏好标注。它把每条指令转成覆盖语义、视觉、风格三个维度的六项评分标准,由 judge VLM 对渲染结果逐项打分,加权满意度经 GRPO 优化。在 MMSVG-Illustration 和 MMSVG-Icon 上,评分从 0.432/0.395 提升至 0.693/0.683,超过专用 SVG 模型并追平更大的 DeepSeek-V3。
研究者提出 BAM(Burnashev Adaptive Posterior Matching)反馈编码方案,把黑盒 LLM 隐写重构为带因果无噪声反馈的序列通信问题,每个生成的 token 双方都能观察到并用于指导后续嵌入。该方法结合后验匹配与解码确认阶段,安全性通过密码学归约证明建立。在三个开源权重语言模型上,BAM 于约 50 个 token 内传输 8-bit 载荷,1000 次试验的消息错误率为 0-0.1%,而同等长度下最强的黑盒基线为 10-17%。作者据此展示了在多种对话场景中实现高通信速率的端到端通信协议。
onPanda 是一款用于标注 LLM 对齐数据与智能体轨迹的交互工具,核心交互是 token 级修正:标注者定位首个不当 token,从模型候选 token 中选取替换或自由编辑,系统截断其后内容并从修正前缀继续生成,循环"定位—修正—继续"直至满意。一项小规模对照研究显示,onPanda 将标注中位耗时较人工后编辑降低 52%。由于最终回复绝大多数 token 由模型自身生成,所得数据基本保留模型采样分布,适用于构建 on-policy SFT 与偏好数据,修正记录还提供带精确位置的正负样本对。
研究者提出一种新的重要性采样(IS)方法,通过扰动原模型权重来构造提议分布,用于估计智能体随机输出轨迹中罕见事件的概率。该方法把提议分布本身参数化为可微语言模型,从而支持在权重空间做基于梯度的搜索,并设计了一个结合事件放大可微代理与自适应正则化的目标函数,动态平衡放大效果与估计器稳定性。作者在约 120M 和约 2.6B 模型上、跨三个事件族共 300 多个低至 10^-9 的罕见事件上做了评估,参考概率的相对标准误差低于 10%。在最可验证的设定中,对于概率低于 10^-7 的事件,该 IS 估计器相比朴素蒙特卡洛取得超过 800 倍的计算加权效率提升,实现已开源。
研究以可解释性方法分析分类器护栏 Prompt Guard 2 如何区分恶意与良性提示词。作者用 Vanilla Gradient 和 SHAP 归因开展四项实验,发现其判定依赖大量 token 的累积贡献而非少数主导 token,但依据显著性做同义词替换和句子级改写,只需改动中等比例文本即可翻转预测,部分情况下还成功越狱底层大语言模型。数据集规模的显著性分析显示,未被检出的注入提示词系统性地缺少分类器依赖的词汇标记。作者据此讨论分类器护栏的设计与评估,并指出用于提升透明度的解释方法同时也会降低构造对抗绕过的成本。
针对 GPT-o1、GPT-o3、DeepSeek-R1 等长思维链模型默认前向推理的局限,研究者提出逆向推理模式构建方法,通过易-难两阶段数学数据集、两阶段监督微调、平滑奖励机制与线性衰减平衡采样策略,训练模型的逆向思维能力。实验显示该方法在数学证明等任务上显著提升推理效率与准确率,并避免奖励作弊。
研究者提出 DUMA-Bench,一个在双控交互下测量 LLM Agent 安全的基准与评测协议,其中 Agent 和用户都能影响共享环境状态。该基准在 τ²-bench 基础上扩展出对抗环境,覆盖 RAG 投毒、跨 Agent 操纵和不安全输出处理等八类漏洞。作者评测了来自 OpenAI、Anthropic、DeepSeek、Qwen 等五个模型家族的 14 个模型,跨八个领域和多种用户行为模式。实验显示,引入双控交互后攻击成功率从 26.9% 升至 41.1%,说明 Agent 安全不只取决于模型本身,还来自模型、用户与环境之间的交互。
论文认为当前 Agent 安全评测中广泛使用的攻击成功率(ASR)并非单一指标,而是由六项设计选择参数化的一族指标,论文之间很少说明且从未保持一致。作者对 2025 年 2 月至 2026 年 9 月间发布到 arXiv 的 259 篇 Agent 安全论文做全文元分析,发现多数未报告方差估计或重复运行:手工编码的 50 篇随机样本中为 58%(95% CI 44-71),对全部 259 篇自动编码为 65.3%;仅 30.9% 披露了足以判断评测是否随机的解码信息,在确认使用 LLM judge 的 64 篇中,29.7% 报告了与人工标注的一致性检验。
RAND 发布报告,建议美国在通往超级智能的不确定路径上采取"自由行动"战略,通过投资 AI 安全、构建 AI 安全架构和改造国家安全体系来保留所有选项,并归纳了共存、拒止、加速三大类共七种原型战略及五项关键不确定性。研究人员还培育出脑内含有部分人脑组织的小鼠,用于研究。
AI Incident Database 的 report_number 7984 只给出编号,未提供事件标题和正文细节,因此无法确认涉及的模型、产品、版本、攻击或防御名称、攻击成功率、样本量、基准分数、漏洞编号、修复状态及适用范围。
英国 NCSC 委托 CETAS 开展的自主网络防御研究指出,攻击者的核心是技术问题且成功状态明确,防御者却受制于组织与预算等"政治"问题,因此不能像攻击者那样直接部署智能体工具。文章提出按"效力"维度评估防御动作风险,从 AI 仅向人类提供可解释建议,到 AI 提供不可解释建议,再到以只读权限跨 API 和网络搜索自主收集数据,逐级递增风险。
ActGov 是一个运行时执行框架,在 LLM 提出的每个工具动作产生外部影响前先做校验。它基于授权、动作、运行时上下文与安全约束的统一语义模型:ActGov-Policy 从工具规格、良性任务和已观测的失败轨迹中迭代构建策略集,每次更新都用基于 SMT 的反例检查验证;ActGov-Runtime 在运行时把每次工具调用抽象为有限策略记录,只有当调用处于任务范围内的授权边界内且满足所有适用策略时才放行。作者在 AgentDojo 和 AgentDyn 两个基准上跨多个模型和攻击配置做了评测,称 ActGov 在保持任务效用的同时持续降低间接提示注入攻击的成功率,明显优于现有防御,且不依赖底层 LLM 正确识别恶意指令。
研究用稀疏自编码器(SAE)在 1000 万 token 语料上对 Mamba-130m 与 Pythia-70m 做特征级对应分析,未发现两种架构存在系统性表征差异:99.98% 的 Mamba 特征聚集在对齐上界,为通用性假说提供初步特征级支持。仅 0.02% 特征出现分歧,模式与"循环瓶颈主要限制刚性句法解析、而非广泛语义本体"的假设一致。Pythia 的无约束注意力可将格式边缘情况单义分解,Mamba 则被迫把无关句法异常压缩进多义"杂物抽屉"神经元以保留状态容量。
作者提出用空间局部性训练损失 TopoLoss 作为训练期先验,检验它能否提升标准机制可解释性工具的效果。在 ImageNet-100 上训练 ViT 并扫描多个 TopoLoss 权重 α,用激活修补衡量地形聚类的因果充分性,用拟合同一残差流的稀疏自编码器衡量特征几何。当 α=1.0 时,地形聚类的因果充分性比同规模随机单元集合高 2.79 倍,且该效应随 α 单调增强。SAE 的 L0 稀疏度下降 11%,死特征比例上升 19 倍,但标准神经元级单义性得分没有变化,说明地形压力作用于回路层面,把因果质量集中到空间局部结构,而没有解开单个神经元。
DeceptionAnalyser 是一款浏览器端工具,用十种论证方案建模不同形式的欺骗,通过 LLM 提取前提、再以关键问题驱动评估的两阶段方法分析叙事文本中的欺骗推理。研究未做分类准确率基准,而是用十款当代大语言模型重复运行,测量前提与结论评估的一致性来检验方法可靠性,发现对明确欺骗的方案识别高度稳定,在更模糊的情报风格叙事上则以可解释的方式平缓退化。该方案库定位为标记可疑主张供审查,而非输出欺骗判定。
OpenAI 提出一条通往全球共享 AI 标准的路径,呼吁通过协调一致的评估、报告与治理来提升安全性。
研究者提出 LIBERO-VPro,用于系统评测机器人基础模型在执行过程中的闭环视觉鲁棒性,通过扰动执行时可获得的视觉证据来考察模型表现。该基准覆盖视觉证据退化、相机陈旧、视觉来源一致性和任务相关场景变化四个维度,包含 12 个挑战类别、96 种实验设置和 3,296 个任务条件用例。作者评测了三个视觉-语言-动作模型和三个世界-动作模型,共约 196,000 次仿真回合,并在 Franka Research 3 上补充了 200 次真实世界 rollout。
论文研究强化学习在提升视觉语言模型推理能力时引发的思维链混淆现象,即任务奖励或准确率上升但推理轨迹变得不接地、更难监控。作者发现 RL 过程中模板相关激活与接地相关激活的可分性下降,匹配的干预实验支持这些特征对可监控性退化的贡献。据此提出 TAME,用 Sparse Autoencoders 结合行为反馈,在 RL 中对模板相关激活做非对称抑制,只惩罚高于 RL 前基线的部分。在 VIRL-39k、SPA-VL 和两个模型族上,TAME 相比 GRPO 将思维链可监控性分别提升最多 30.9 和 16.7 个百分点,盲评人类评估与两个留出监控模型族也复现了提升;任务准确率变化较小且方向不一,通用能力基准显示存在任务特定权衡。
针对尼日利亚及非洲大陆尚无监管文件规定金融科技 AI 系统采购前须做何种部署前评估的空白,研究者提出上下文感知的监管框架。他们构建 SafeAlert 评测套件,在三种系统提示词条件下测试六款商用模型,发现能拒绝通用有害请求的模型在特定话术下仍会生成完整诈骗脚本,且多款模型将大部分合法的尼日利亚银行通信误判为可疑或欺诈。论文建议 CBN、NITDA、SEC 和 AU 引入部署前评估要求,并指出该缺口源于监管规范缺失而非技术或资金不足。
Djinnlang 是一种只写规格、不写可执行代码的高级规格语言,由 LLM 在编译器内填充实现与证明。它要求 LLM 除证明实现满足规格外,还须证明满足该规格的任意其他实现在相同输入下输出相同,即约束关系是确定性的,从而不给程序语义留任何余地。其符号翻译器将规格降为 Dafny 桩与证明义务,由驱动框架调度 LLM 补全,全部经 Dafny 验证器检查;该语言已实现自举,LLM 可依规格实现 Djinnlang 翻译器且重实现能自验证。
FORGE-plus 是一个双层机器人装配框架,由冻结的纯文本 LLM 担任“预算设定者”和“恢复选择者”,按物体材质、质量与几何设定力上限 Fmax,底层 60–120 Hz 控制器用 ForceClamp 将所有指令力饱和至该上限,并以 120 N 全局硬上限防止模型幻觉。
一篇综述对 2022 至 2026 年间发表的 66 项研究做结构化梳理,提出跨维度表示 T={S,B,P,A},把受影响的系统面、交互或信任边界、被违反的安全属性与实证考察的架构关联起来。作者分析了 22 项有制品支撑的红队研究以及 11 个代表性安全基准,发现证据集中在提示词与推理、记忆和工具调用类攻击,且多为单智能体场景;持久化、人机交互、复杂多智能体、系统性和长时程威胁的覆盖较少。作者强调这些结论描述的是所选语料而非全部实证研究,并指出指标异构、自适应防御评估有限、架构分布不均和执行状态捕获不完整制约了可比性与可复现性,据此提出 13 个开放研究问题。
作者提出 Circuit-Diff,通过对模型施加低秩事实编辑,把归因图中角色发生变化的特征视为与被编辑知识相关,从而免去手工解读 CLT 未标注节点的步骤。在被考察的编辑上,被标记的节点不只是目标 token 的检测器,还包含围绕新旧对象的历史、地理与关联特征。作者形式化了该方法,测量事实编辑后冻结 CLT 的可靠性,并在最多 24 个 CounterFact 编辑上通过节点修补做因果检验,另附一个案例研究。基于 circuit-tracer 包的开源实现与多提示词聚合、基于规则的超节点标注两个工具一并发布。
SyzHarness 结合 LLM 推理与覆盖率引导模糊测试,从补丁出发复现 Linux 内核漏洞:LLM 智能体借助代码导航工具合成参数化 fuzzing harness,固定前置设置逻辑,只把不确定的 bug 关键输入参数交给 Syzkaller 变异,再通过分层可达性反馈迭代优化。在 100 个 KernelCTF 案例上复现成功率达 78%,在 SyzDirect 基准上达 73%,明显优于此前的定向灰盒模糊测试;对 2026 年 3 月后修复的 50 个 syzbot 已知可触发 bug,仅凭修复提交即复现 40/50(80%)。
论文区分了与人类偏好对齐和与人类行为对齐,指出人们偏好的 AI 回复未必是他们自己会给出的回复,并将此称为图灵测试差距。作者证明偏好对齐仅在一种严格条件下才能保持人类回复分布,且未发现真实人类偏好满足该条件的一致证据。实验显示,人类回复似然度的损失随偏好加权强度增加而增大,与加权方向无关,该差距在标准 DPO 下同样出现。研究据此提出,人类相似性应作为对齐的一个显式维度,而非假定其会随偏好对齐自然产生。
针对人脸识别模型易受对抗性语义编辑(如轻微老化或姿态变化)攻击的问题,研究者提出语义攻击 BoundStyle,在 StyleGAN 潜空间中最大化误分类率,攻击成功率高的同时比现有 SOTA 攻击快约 9.5 倍。基于 BoundStyle 构建的对抗训练方案 StyleAT 采用低预算攻击变体,却能防御更强和未见过的语义攻击。在两个训练中未见的数据集和七个模型上,StyleAT 提升了针对 SOTA 攻击的鲁棒准确率,并在多种设置下优于常见防御方法。
该研究首次系统分析大型推理模型(LRM)中效率、越狱脆弱性与推理能力之间的相互作用。研究发现,量化与剪枝等效率方法表面上降低了越狱攻击成功率,但这种改善往往是表面的,主要源于推理能力退化导致恶意响应尝试失败,而非真正的对齐增强。表征漂移的机制分析证实了推理能力损失与模型维持恶意语义轨迹能力之间的严格耦合。研究还发现量化结合剪枝是平衡效率与鲁棒性的最优策略,为区分真实安全对齐与能力诱导的失败提供了实证基础。
研究者提出一种生成内嵌水印方案,用于视频生成模型(VGM)的合成视频验证与模型所有权验证两项取证任务。方案包含名为 VidMark 的视频水印网络,结合两级离散小波变换(DWT)分解与全局时序注意力模块(GTAB),并通过解码器引导的微调让 VGM 生成携带模型专属水印的视频。在代表性 VGM 上实验显示,水印提取准确率超过 99%,两项验证任务准确率均达 100%,且对视频级与模型级攻击具有强鲁棒性。
研究将 ResNet-152 教师蒸馏到 ResNet-34 学生,在 ImageNet-1K 上以五种温度与软标签损失权重配置检验知识蒸馏能否迁移空间特征归因。学生 top-1 准确率为 71.6%–74.0%;Grad-CAM 的 RMA 为 7.7%–9.7%、RRA 为 7.3%–10.1%,Guided Grad-CAM 的 RMA 为 16.1%–18.6%、RRA 为 15.9%–21.5%。可解释性对软标签权重远比温度敏感,且所有配置下细粒度归因均低于未蒸馏基线;12 组卷积与 Transformer 跨架构组合显示细粒度空间推理的继承受学生固有结构偏置制约。
研究提出一个由故事智能体、图像智能体和评论智能体协作的多智能体框架,用于生成能与真实新闻对抗的虚假社交媒体帖子。作者用该框架在科学、健康、娱乐三个领域生成了超过 9000 组配对的多模态新闻帖子,并以此评测 16 个开源与闭源多模态大语言模型的自动检测能力。结果显示,多数模型的准确率明显低于人类水平,在识别图像真实性方面尤其失败。作者称该工作为开发针对社交媒体假新闻的防御提供了基础,代码与数据已在 GitHub 公开。
Jiyou Shin 等人提出统一机器人控制—策略框架 URF,让高层策略预测底层执行模式而非仅输出运动目标,从而弥合刚性接触场景中的执行断层。该框架在每个动作步预测含虚拟目标、刚度矩阵与阻抗—导纳切换比的动作块,并用实测外力大小作为环境刚度的代理信号来监督学习。在箱翻转基准中,纯力控基线成功率为 0%,自适应柔顺控制器 ACP 为 25%、临界失败率高达 86.7%;完整版 URF 将峰值力增长率从 48.5±15.5 N/s 降至更低水平并实现 0% 临界失败率,同时显著抑制振荡。
论文将思维链忠实性重新定义为内部概念接地,检验 LLM 的 CoT 推理是否调用与直接预测相同的内部概念,以及这些共享概念是否因果驱动答案。方法上用单个共享 SAE 分别编码预测过程和 CoT 过程,使两者的内部概念可直接比较,并提出三个概念级对齐的相关性指标和一个因果指标 Δp,后者通过消融共享概念测量答案概率的下降。在五个 LLM 和四个数据集上,相关性指标显示概念对齐普遍较高,但只能识别哪些概念被共享,无法说明其因果贡献;Δp 显示因果忠实性随模型深度显著变化,在中后层达到峰值而非最后几层,模型规模也会改变逐层分布。此外,因果上重要的共享概念并不总在 CoT 中被口头表达,说明仅凭表面文本或表征对应无法可靠评估忠实性。
DeepSeek 发布生产级沙箱平台 DSec,通过统一 SDK 提供 FnCall、容器、microVM 和 full-VM 四类沙箱后端,并与强化学习框架协同设计,将带状态的 rollout 执行与可抢占的 GPU 训练解耦,同时缓解奖励作弊等智能体失范行为。单个生产单元约 160 个节点,每天服务约 300 万个沙箱,支持超 38 万个并发沙箱、每秒超 5000 次沙箱创建,镜像数据按需从 3FS 分布式文件系统加载。
论文提出 Trustworthiness as a Service(TaaS),用于解决智能体跨组织边界调用工具、服务与其他智能体时,依赖方无法仅凭生产域控制与记录评估被委托动作的问题。其分析单元为跨域依赖命题,通过三条件结构外化诊断识别需多域依赖、生产方独立验证且须在撤销、失败、记录冲突或争议后仍可复核的命题,并为此设计不可变工作流清单与仅追加、发行方可归属的信任证据信封。论文还给出拓扑中立的逻辑参考模型,并以三个分析场景和 TaaS-Eval 协议提案定义清单、独立消费者、硬门控、对抗性证据测试与指标。
论文针对多智能体系统提出提示注入威胁模型,列举四类共 14 种攻击向量:用户输入直接注入 3 种、工具输出间接注入 4 种、智能体间消息传递注入 4 种、通过编排器操纵的级联注入 3 种。作者在一个 6 智能体的生产代表性系统上测试全部 14 种向量,发现即使有系统提示词层面的护栏,仍有 67% 的智能体至少对一种越权行为存在脆弱性,工具输出间接注入的成功率为 43%。四类架构防御将整体注入成功率从 31.2% 降至 4.2%:带来源追踪的消息签名使智能体间注入下降 91%,智能体边界处的输入输出净化使间接注入下降 78%,按角色限定工具权限完全消除了权限提升,智能体间通信异常检测捕获 84% 的级联尝试。
研究团队开发了一套跨语言心理测量画像框架,用七种心理量表评估九个 LLM,中英文各重复施测五次,未解决的题目保留为 NA。模型呈现结构化的、模型特异的画像,同时共享一种对齐塑造的模式:亲社会与自我调节反应更高,支配性、脱离和有害意图认同更低。NA 反应呈结构化分布,语言条件和提供方来源与画像配置及可作答性相关,重复施测显示高可复现性并可还原模型身份。
论文把 LLM 内部方向代表什么的问题当作构念效度问题,在迷宫任务中研究一个好坏结果方向,并用受控干预把实际结果与获知该结果的信息历史分开。在多个 LLM checkpoint 上,用一种显式结果编码拟合的方向能较好迁移到另一种编码,说明读出并不绑定表面形式。但当同一实际结果分别经由已预告和未预告的历史达成时,迁移显著下降:即使两种历史随后都收到相同的显式结果,事件后的读出仍强烈依赖此前的预告。在基座模型中,沿该方向做引导会改变动作,但移除该方向后自然线索效应几乎不变。在匹配的迷宫 RL 训练中,RL 后的方向对参考 MDP 剩余回报的预测性明显增强,策略在测试位置也更依赖它,而历史依赖依然存在。
研究者提出 MATE,一个轻量的策略条件审计器,同时编码 Agent 轨迹与自然语言安全策略,判断轨迹是否违反给定策略并给出原因。由于把策略当作可编辑文本而非固定模型参数,MATE 无需重新训练即可适配用户自定义和不断变化的要求。作者从全球数百个热门移动应用中抽取应用描述、工作流和策略构建知识库,并用多阶段流水线合成超过 140K 条语义真实的策略条件轨迹。团队同时发布 MATEBench,包含两个合成子集和一个由人工收集轨迹构成的真实子集。
一篇 arXiv 综述梳理了基于大语言模型的智能体 AI 在安全与运维上的五类可信维度:安全与鲁棒性、对齐与人类监督、透明度与可审计性、隐私与数据治理、监管合规。文章把间接提示注入、后门触发、目标泛化错误、记忆污染和跨会话数据泄露等失效模式归入统一分类,并评估指令层级、上下文隔离、spotlighting、过程监督、受限工具使用和隐私保护记忆等缓解手段,区分有实证支持与仍属概念性的方法。作者据此提出六阶段 Trustworthy Agent Development Lifecycle(TADL),覆盖规格、设计、训练、评估、部署与监控,但该框架尚未经实证验证。
研究者提出 UBA-ORL,一种针对离线强化学习的遗忘激活后门攻击:攻击在正常训练后被大幅抑制,却在合规驱动的数据删除(遗忘)请求后显现。该方法采用双样本机制,同时注入后门轨迹(BD)与伪装轨迹(CM),两者共享同一触发模式,但 CM 保留良性动作并配以同样高的奖励。训练时 BD 与 CM 提供相互竞争的监督信号,当对 CM 子集发起合法删除请求后,残留的 BD 信号重新占据主导,按需重新激活后门。实验显示 UBA-ORL 在评测的离线 RL 配置下实现可控激活,无触发回报的变化因配置而异,暴露出合规驱动离线 RL 平台此前被忽视的安全风险。作者呼吁社区为合规遗忘服务开发遗忘前与遗忘后的联合审计机制。