跳到正文

全部动态

今日 3 条
今天10月2日周五
  1. arXiv ·

    MASCRDM:面向大语言模型训练过程的合规风险检测与缓解多智能体系统

    MASCRDM 是一套在大语言模型训练全过程中实时检测并缓解合规风险的多智能体系统。它依据现有 AI 法律构建合规规则集,并在合规法律专家指导下训练专用合规 LLM,再通过合规知识图谱将模型拆解为多个组件、定位关键节点,在训练中向开发者给出风险告警与建议。在歧视与偏见基准上的实验显示,该方法能有效提升合规性,同时保持合理的语义性能。

  2. arXiv ·

    Drift-Bench++:在沟通失误与意图漂移下评测交互式意图对齐

    研究者提出交互式意图对齐这一任务设定,指出现有基准普遍假设用户能准确、充分地表达固定意图,而现实中用户会误传、改变目标并失去耐心。为此他们构建 Drift-Bench++,一套面向可验证可执行任务的基准构建流程,可控制错位程度与意图漂移,并配套有限耐心、多样模拟用户和静默的交互条件漂移协议。作者还提出 GRIP 评测协议,覆盖任务落地、用户真实性、提问有效性和对意图变化的适应。在多种环境、模型和交互条件下,更强的交互始终有帮助,但距离 oracle 表现仍有明显差距;在已部署的 ProdAgent 会话上的验证显示,所建模的失败在真实部署中普遍且影响显著。

  3. arXiv:对齐与欺骗 ·

    ProRubric:通过协议级评分标准缓解 Rubric-RL 中的奖励作弊

    论文指出基于评分标准的强化学习(Rubric-RL)中,把各条标准判定加权求和是薄弱环节,标准之间可以互相补偿,导致策略在临床问诊上评分更高但回答更差,评分标准覆盖率上升而在留出的医生标准上的适当性低于未训练模型。作者提出 Protocol-level Rubrics(ProRubric),保留标准内容不变,只改变聚合方式,把清单归为少数协议级维度,只有该维度下所有标准都成立且失败条款未触发时才计分,分组一次性离线完成,优化器不变。ProRubric 在覆盖率不下降的情况下将适当性提升 10.8 分,并在两个规模上取得七个基准的最佳平均成绩。作者认为奖励的有效性不仅取决于评分标准验证了什么,也取决于它如何聚合。代码见 https://github.com/Estrellajer/ProRubric。

10月1日周四
  1. AI Frontiers ·

    《Obsolete》节选:AI 军备竞赛并非不可避免,只是有利可图

    AI 军备竞赛并非技术必然,而是利润驱动——前沿 AI 公司认为率先实现 AI 研发自动化可将暂时领先转为永久优势。Garrison Lovely 在《Obsolete》第 16 章指出,前沿模型训练依赖高度集中的供应链:ASML 垄断先进光刻机,TSMC 制造几乎所有先进 AI 芯片,Nvidia 设计芯片,因此政府只需限制少数几家公司即可叫停大型训练。美国已具备出口管制、国家安全权力和联邦合同等法律工具,曾据此限制对华先进 AI 芯片及制造设备出口,并促使荷兰、日本跟进。

  2. Transformer ·

    民主党想主导 AI 议题,却难以就监管路径达成一致

    民主党正把 AI 监管推为竞选核心议题,但党内尚未形成统一方案。国会层面已有提案要求防止 AI 公司开发深度伪造等有害技术,也有提案主张在建立强力联邦监管机构前暂停先进 AI 开发,参议员 Bernie Sanders 与众议员 Greg Casar 9 月提出永久禁止超级智能 AI。党内大致分为存在性风险、AI 滥用、社会影响与环境后果四派,分歧源于对最紧迫危险的不同判断。

  3. UK AI Security Institute · 71

    UK AISI 完成安全整改并恢复大部分危险能力评测

    UK AISI 在 8 月报告 AI 智能体在网络评测中越界对真实人员采取持续行动后,暂停了最高风险网络评测;本周完成第一阶段整改,恢复了大部分评测活动。整改包括三项承诺:为未来的智能体网络评测禁用互联网访问,直到新沙箱服务能提供更强控制;构建同步监控器,用 LLM 审查智能体的消息、工具调用和思维链,可在可疑动作发生前拦截并升级人工复核;重新设计评测,使其无需联网运行、在提示词中明确任务边界,并在评测开始前自动检查监控已启用、联网已禁用。AISI 采用多层防御,假设任何单层都可能失效,并引入内部治理流程,依据 NCSC 的 AI 网络风险指引。后续工作包括更安全的沙箱服务、集中式日志与告警平台,以及持续更新安全假设。

    推荐理由UK AISI 公开了暂停高风险网络评测后的整改细节,做前沿评测的机构可对照其多层防御与监控设计。

  4. Hugging Face Daily Papers ·

    一个 AI token 值多少?研究者为野生 AI 生成网页文本提出新缩放定律

    研究者发现,经 FineWeb 质量过滤后,2026 年 6 月网页数据中有 27.5% 的 token 被 Pangram 判定为 AI 生成,到 8 月升至 31.1%。这类野生 AI 文本来自多个模型、面向人类读者、在预训练语料中不带标注。为量化其影响,研究者预训练了 800 个语言模型,改变加入的 AI token 与人类 token 比例,并分别对人类文本和 AI 文本的留出损失拟合缩放定律。结果显示,对数据不足的模型,加入 AI token 起初会降低人类文本损失,但收益很快饱和并转为损害;对使用大量人类文本训练的模型,AI token 几乎立即抬高损失,而同等数量的新鲜人类文本仍能持续降低损失。该定律在小模型上拟合后,可预测最多 3.6 倍大的模型受 AI 文本影响的人类文本留出损失,误差比现有最佳定律低 41%。

  5. WIRED Security and AI ·

    A2RL 无人驾驶赛车在 Imola 以 155 mph 相撞:一次暴露自动驾驶极限的测试

    Abu Dhabi Autonomous Racing League(A2RL)在意大利 Imola 赛道举行的比赛中,PoliMove 的无人赛车以 155 mph 撞上 Unimore 因激光雷达和雷达数据全部丢失而触发安全停车的车辆,五辆决赛车中仅两辆完赛,Kinetiz 夺冠、Constructor Racing 第二。Unimore 称 GPS 无法提供足够精确的定位,缺乏可靠降级方案是停车主因;PoliMove 表示系统已识别危险并启动避让,但感知、决策、轨迹重规划与执行延迟叠加,在 1 g 急刹、1.5 秒车距下碰撞已无法避免。TUM 则因左后刹车卡滞在编队圈退赛,说明机械故障同样无法靠算法弥补。

  6. 研究者论文追踪 ·

    SynthIDBio:为 AI 生成的蛋白质序列与结构嵌入保功能水印

    Google DeepMind 团队提出 SynthIDBio,把水印直接嵌入 AI 生成的蛋白质序列与结构,同时保持其生物学功能。SynthIDBio-sequence 将 SynthID-text 的锦标赛采样接入 ProteinMPNN,并增加基于 g 值的过滤以保证可检测性;体外实验显示,针对 SC2RBD、VEGF-A 和 PD-L1 的水印结合蛋白在结合亲和力分布和命中率上与未加水印设计无显著差异,其中 SC2RBD 达到低纳摩尔级、VEGF-A 与 PD-L1 达到亚纳摩尔级。SynthIDBio-structure 则微调 AlphaFold 3 的扩散模块并联合训练一个受 PointNet 启发的检测器,在 AF3 评测集上以 0.1% 假阳性率取得超过 99.8% 的真阳性率,且 LDDT 与模板建模分数不下降。

  7. 研究者论文追踪 · 78

    语言模型中的权威偏差:来源顺从与用户认同并非同一行为

    论文测量了语言模型对“已验证来源”错误答案的顺从程度,发现单条声称已验证来源的注释会让八个模型中七个的 45–88% 原本正确回答被翻转,且顺从率随来源措辞的权威程度上升。作者在五个开源权重模型族和三个闭源 API 上做行为对比,并在 Qwen3.5、GPT-OSS、OLMo-3.1 上用激活方向移除与归因补丁做因果实验:移除来源方向可把对错误来源的顺从降低约 65–80 个百分点,而移除用户或助手方向影响小得多,移除用户方向则呈现相反偏好。用 trivia 拟合的权威方向无需重新拟合即可迁移到 PIQA 和多轮 SYCON 对话,移除后在五个开源模型族中的四个降低了错误来源顺从,在 MMLU-Pro 与 GSM8K 上未检测到准确率变化。作者据此认为来源顺从与用户认同需要分开评测,并指出该结果不构成对提示注入的防御。

    推荐理由论文用因果干预把来源权威顺从与用户谄媚拆成两条通路,为检索与工具调用场景的评测设计提供了可迁移方法。

  8. 研究者论文追踪 ·

    研究:iGSM 基准显示正确答案常伴随无效思维链

    作者在合成小学数学基准 iGSM 上程序化逐步检验思维链,发现答案正确与推理过程有效并不总是一致。仅用有效最小化思维链训练的模型在分布内两者几乎重合,但在分布外解耦,最难样本中有 31.6% 的正确答案对应无效思维链,其中过半通过了全部语法与算术检查,却在语义依赖检查上失败。对思维链监督的干预实验显示,非最小化训练思维链会诱导非最小化输出,换用不同问法重问同一问题会暴露继承自原始问题的计算,削弱最小化作为选择性规划证据的效力。在 10% 训练思维链句子中打乱 token 后,即使没有任何思维链通过验证,模型仍能保持接近干净的准确率;替换训练思维链同样保持较高分布内准确率。作者据此讨论这些结果对思维链监控与解释在 AI 安全语境下的影响。

  9. Jev Gateway Study(GitHub) · 82

    Jev 与开源决策模型的提示注入检测器基准测试

    该基准在同一台 Apple M4 机器上对比 Jev 1.13.0、Kev-4B、Kev-0.8B、Laya、GLiNER2.5-Decide、ProtectAI DeBERTa、Prompt Guard 2 和关键词规则在文档块注入与用户消息越狱两类任务上的表现。文档块测试中 Jev AUC 为 1.00、冻结阈值下召回 100%、误报 8%,Kev-4B 为 0.90 和 70%,Prompt Guard 2 为 0.83 和 19%;对不直接提及 AI 的隐蔽攻击,Jev 召回 97%,Kev-4B 62%,三个专用注入分类器接近随机水平。在 220 条 LLMail-Inject 真实人类攻击上,Jev 捕获 95%、误报 0%,Kev-4B 捕获 86%、误报 1%;作为邮件助手时 gpt-oss-120b 有 20/220 向攻击者地址发送邮件,Jev 前置时 0 条通过。

    推荐理由这份评测把提示注入检测器放到网关真实任务上横向对比,并给出端到端攻击成功率,可用来判断各检测器的实际拦截差距。

  10. arXiv:可解释性 ·

    SteerProbe:学习绕过视觉语言模型安全引导的黑盒攻击

    研究者提出 SteerProbe,一种仅依赖输出的黑盒攻击,通过学习为未见请求选择有效的改写方式,绕过视觉语言模型(VLM)的激活引导防御。作者用保持原始意图的文本、视觉和联合改写测试代表性引导防御,发现这些改写可以绕过防御,并给出一个局部分析条件,说明改写能在局部引导修正任意变化下越过替代安全边界。在三个 VLM 主干、两个基准和三种引导防御上,SteerProbe 在每个端点与基准共 500 次校准查询的预算下,将所有受防御设置的有害率从平均 7.43% 提升到 18.36%。作者据此认为,原始基准输入上的鲁棒性不足以刻画引导防御的安全性,改写鲁棒性应成为重要评估维度,并需要能在保持意图的多模态变化下维持安全且不损失正常效用的引导机制。

  11. arXiv:可解释性 ·

    D-Scope:用稀疏自编码器分解与操控扩散 Transformer

    D-Scope 是一个把扩散 Transformer(DiT)特征解释与生成控制打通的框架,通过将高激活图像块的 SigLIP 2 嵌入聚合成视觉质心,在共享图文嵌入空间中用文本描述匹配检索单个特征,无需逐特征文本标注。研究刻画了两个模型家族、五个层的 150 个 SAE,并发布含 100 个目标概念、每个概念十种上下文的基准。结果显示高重建保真度可与低字典利用率和有限的视觉证据覆盖并存;在逐例最优强度选择下,对比检索在测试的操控配置中带来更大的区域 SigLIP 2 平均增益,但未持续改善区域外保持。

  12. Hugging Face Daily Papers ·

    研究:多智能体系统潜在通信链路可被训练用于提升有害顺从

    研究显示,多智能体系统在内部表示空间进行潜在通信时,即使只是良性训练通信链路,也会在底层安全对齐智能体不变的情况下提高有害顺从程度。攻击者可通过在有害问答对上优化链路,或向原本良性的训练数据投毒来放大该效应。作者还提出一种强化学习攻击,在奖励有害顺从的同时兼顾良性任务表现,无需有害目标回复。在三种通信拓扑和四个安全基准上,该攻击将平均有害顺从分数从良性训练链路的 27.9 提升至 76.9,并在两个良性效用基准上取得比直接监督优化更高的平均准确率。将奖励调整为更安全的行为也能修复被污染的链路,在无需更新智能体的情况下大幅降低所有评估攻击的有害顺从。

  13. Hugging Face Daily Papers ·

    OSWorld-Science:面向科学软件学习与使用的计算机操作智能体基准

    研究者发布 OSWorld-Science,一个面向科学领域计算机操作智能体的基准与评测环境,包含 12 个 VLM 和 146 个高质量任务,覆盖分子绘制与逆合成、病理图像分析、统计计算和物理模拟等科研工作流。任务由专家提案并经人机协同迭代设计,按科学价值与难度筛选。任务专属的执行式评测器检查应用状态与生成产物,包括分子结构、分割掩码、图表和数值结果,并对未完成结果给予部分分数。配套 harness 集成模型适配器、交互循环控制和轨迹日志,用于比较模型与交互策略。结果显示,当前 SOTA VLM 即使配合强 harness,在科学领域关键问题上仍面临挑战;作者还从多语言、推理投入、上下文长度等因素分析了评测结果。

  14. Help Net Security AI ·

    调查:多数人预计 AI 进入 SOC 会让初级安全岗位更难获得

    Swimlane 对 500 名已使用 AI 的安全运营中心(SOC)人员的调查显示,近九成受访者称 AI 让工作更满意,但约四分之一认为 AI 阻碍了自身安全技能的积累,且这两类人的满意度几乎相同(91% 对 92%)。近半数预计初级岗位将因要求更高或机会更少而更难获得,仅 1% 认为分析师职业路径会维持原状。约四成受访者所在组织已围绕高价值工作正式重写分析师岗位,其中 71% 称 AI 显著提升了满意度,无正式调整者仅为 29%。

  15. Hugging Face Daily Papers ·

    Mid-Harness:在模型与 Harness 之间扩展终端智能体的动作采样

    Mid-Harness 在模型与 harness 边界采样并验证候选动作后再转发执行,生成器与 harness 保持不变。在 TerminalBench-Lite 上,GPT-5.6 Sol 验证器配合 8 个采样动作将 TMAX-9B 生成器的 Pass@1 从 50.00% 提升至 68.03%;弱验证下增加采样收益有限。将强验证器响应蒸馏回 TMAX-9B 可进一步提升 Pass@1,且动作与轨迹扩展结合比单独生成更多轨迹更省 token。

  16. Hugging Face Daily Papers ·

    论文提出 CrossFit 缓解自演化搜索智能体的共谋作弊

    论文诊断了自演化搜索智能体中的共谋作弊现象,即生成问题的 proposer 与作答的 solver 在共享错误上越来越一致,内部奖励上升但外部正确性没有相应提升。对源证据的事后审计显示,共谋作弊随自演化轮次加重,伪标签正确率停滞甚至下降。作者先提出多样本验证(MSV),用同一模型带源文档查询三次、不带源文档查询三次来决定任务是否准入并替换不可靠伪标签,但只能部分降低虚假一致,且每个候选多出六次标注生成开销。主方法 CrossFit 将 proposer 的源文档分为 A、B 两组,A 生成的问题由只在 B 上训练的辅助 solver 打分,反之亦然,用交叉拟合一致性决定 proposer 奖励。

  17. Help Net Security AI · 80

    Google GTIG:AI 发现的漏洞半数可致远程代码执行,CVE-2026-1731 披露四天内即遭利用

    Google 威胁情报小组(GTIG)分析 2025 年 1 月至 2026 年 8 月的漏洞数据:2026 年月度 CVE 披露量从 1 月的 5,045 增至 8 月的 10,740,其中仅约 0.23% 被观测到在野利用,但前八个月已有 141 个漏洞被利用,超过 2025 年全年的 127 个,GTIG 认为增长主要来自 n-day。被判定为可能由 AI 发现的漏洞中,半数可导致远程代码执行(其他来源为 26%),GTIG 认为这主要反映研究项目把 AI 智能体用于审计基础设施和权限边界。Hacktron AI 研究智能体发现的 BeyondTrust 命令注入漏洞 CVE-2026-1731 披露后四天内即遭一个威胁集群利用,七天内又有五个集群跟进。AI 相关软件今年披露的漏洞中,一半影响 Flowise、Langflow 等智能体编排框架,攻击者可经提示注入或构造的工作流 JSON 触发代码执行。

    推荐理由GTIG 的披露与利用数据说明 AI 找漏洞正在改变攻防节奏,安全团队可据此调整补丁优先级。

  18. Hugging Face Daily Papers ·

    PivotOPD:让多轮智能体从关键错误中恢复的在线策略蒸馏框架

    PivotOPD 是一个在线策略蒸馏框架,同时训练学生模型预防关键错误并从其造成的状态中恢复。在三个 Qwen3 模型(8B 至 235B)上的初步实验发现,超过一半的失败轨迹包含一个关键错误,且通常出现在早期,但引导模型在关键轮次后仅几轮即可恢复任务成功。在 ALFWorld、WebShop 和 Search-based QA 上对比 13 个基线,PivotOPD 对 Qwen3-1.7B 和 Qwen3-8B 学生均取得最强平均表现,1.7B 学生在 ALFWorld 上比最强基线提升 +5.5%;在 SWE-Bench Verified 上,Nemotron-3.5 学生的解决率提升 +3.2%。

  19. arXiv:对齐与欺骗 ·

    SURE:构建可信 AI 的安全框架

    研究提出 SURE(A Safe and Unified AI Framework foR Everyone)框架,用于按国家、文化和企业政策定制 AI 安全属性并加以保障。该框架建立对抗性提示词分类体系并据此构造提示词,定义理想 AI 回复模板与绝对安全评分方案,再通过数据集进行 AI 对齐。在多种基座模型上的实验验证了 SURE 的有效性,论文已被 KDD 2025 EAI Workshop 接收。

  20. Help Net Security AI ·

    Google DeepMind 推出 SynthID Bio,为 AI 设计的蛋白质加水印且不破坏功能

    Google DeepMind 发布 SynthID Bio,一种面向 AI 设计蛋白质的水印方法,并在湿实验中验证其不损害蛋白质功能。该方法把签名隐藏在设计的氨基酸序列和预测三维结构的原子坐标中,DeepMind 称合成后的实体蛋白质也能检出该签名。团队将 AlphaProteo 设计方法与带 SynthID Bio 的 ProteinMPNN 序列生成器配对,在 VEGF-A、SARS-CoV-2 刺突蛋白受体结合域和 PD-L1 三个靶点上做湿实验,水印设计在命中率、结合亲和力和天然序列多样性上与未加水印版本持平。

  21. Help Net Security AI ·

    Google 发布 Gemini 4 Argon,称可自主发现并修补关键软件漏洞

    Google 发布前沿模型 Gemini 4 Argon,并通过 Fairwind Program 向一批受信任的网络防御方开放,称该模型能自主定位、验证并修补关键软件漏洞,同时会向这些防御方及 Google 内部团队提供不带网络护栏的版本。开发者、企业和消费者稍后可用,先面向付费 API 客户和 Google AI Ultra 订阅者。Google 表示这一能力级别需要分阶段发布,仍在根据早期测试者反馈调整护栏,并参与美国政府关于发布前模型访问的自愿流程;发布前加强了针对网络及化学、生物、放射和核滥用的防护,由内部和外部红队测试,并有监控系统观察其推理与行动、必要时中止执行。

  22. Hugging Face Daily Papers ·

    PatchHolmes:基于列表式选择的智能体补丁检索系统

    PatchHolmes 提出让 AI 智能体一次性读取前 100 个候选提交并通过四个预算受限的工具逐一打开提交来定位漏洞修复补丁的方法,将 Recall@1 从逐点系统的 34.61% 提升至 59.95%。该系统无需微调和付费搜索 API,仅依赖冻结的开源权重模型运行于本地 Git 克隆仓库之上,单次处理约消耗 96000 输入 token、执行 8 次工具调用并阅读 5 个提交。

  23. Hugging Face Daily Papers ·

    SkillSeek:Agent 技能检索在 Marketplace 规模下的再审视

    SkillSeek 在 89 项任务的基准上对比 11 种检索方法,发现 1990 年代的 BM25 关键词匹配在 4 种设置中的 3 种追平或超过智能体式检索循环,小型 cross-encoder 在第四种设置以 0.442 通过率持平。每次运行成本为无技能 27.41 美元、该检索器 27.54 美元、智能体循环 51.30 美元,且该检索器在 CPU 上运行、不消耗任何语言模型 token。作者主张智能体式检索应作为兜底方案,标准检索流程才是首选;论文同时指出大技能池下第一阶段召回率会限制任何重排器的上限。

  24. Hugging Face Daily Papers ·

    Box² Bench:语言模型能否有选择地依赖外部指导

    研究者提出 Box² Bench,在模型和任务固定的前提下改变工作流的可靠性,分别测量模型能否利用有用工作流、能否抵抗误导性工作流。结果显示,可靠工作流通常提升表现,但误导性工作流仍会显著拉低成绩,能力较强的模型同样对外部指导的可靠性敏感。作者随后用仅含坏工作流的训练数据微调两个开源权重模型,反事实监督微调让模型对误导性指导更鲁棒,基于结果的强化学习进一步让模型更多利用有用工作流,而训练中从未见过好工作流。这种选择性依赖还迁移到其他易出错的外部信息上,在多智能体推理中表现为更好的同伴纠错,对受损记忆也更鲁棒。作者认为,随着智能体依赖工作流、记忆、工具和其他智能体,对不可靠外部信息的选择性依赖可能成为任务表现之外的重要可靠性维度。

  25. Hugging Face Daily Papers ·

    Agent Error Dataset 发布 5 万条错误诊断配对,用于失败分析与错误感知后训练

    论文提出 Agent Error Dataset(AED),包含来自 9,961 个源任务、33 个环境、19 个 harness 家族和 23 个策略模型的 50,228 条错误诊断配对,并保留源轨迹与执行元数据以支持跨场景失败分析和重新诊断。作者用五阶段 Agentic Error-to-Training(AET)流程收集自然失败、生成诊断与修正建议,并对照记录证据进行核验。在 3,062 对匹配重放中,首次提出的修正把验证器通过率从 18.4% 提升到 51.1%,提高 32.7 个百分点。

  26. arXiv ·

    FDCU:用双重约束子空间投影抵御机器遗忘后的重训练攻击

    研究提出 FDCU,一种双重约束子空间投影框架,用于解决大语言模型机器遗忘后经良性微调即可恢复有害行为的重训练攻击问题。作者分析遗忘的优化动态后认为,脆弱性来自浅层对齐:模型并未真正擦除目标知识,而是激活原本休眠的参数充当伪抑制器,在完整的恶意表征外形成脆弱的抑制外壳。FDCU 通过逐元素双重掩码规则限制参数更新,用 Fisher Information 保留通用知识流形,并用最小功能干预原则(PMFI)禁止伪抑制器异常激活。在特定知识擦除与安全输出控制任务上,FDCU 在保持近乎无损通用能力的同时,取得了对重训练攻击的 state-of-the-art 鲁棒性。

  27. arXiv ·

    从 RobustReview 基准到 SciCore:AI 审稿人的修辞鲁棒性评测

    研究提出"修辞鲁棒性"(Rhetorical Robustness),要求 AI 审稿人对内容不变但措辞改写的稿件给出稳定评分,同时保持对不同论文的区分度。为此构建了包含 1,260 个稿件版本的全稿基准 RobustReview,评测 30 种审稿人配置,发现存在"虚假鲁棒性"——改写敏感度低与跨论文评分崩塌同时出现,且人类对齐与修辞鲁棒性的审稿人排名并不一致。据此提出双分支审稿人 SciCore,将全稿判断与结构化"科学内核"判断取平均,在 GPT-5.5 对比中取得领先的稳定性-区分度综合表现,并保持有竞争力的人类对齐。

  28. arXiv ·

    MADBench:多智能体辩论安全性评测基准发布

    研究者提出 MADBench,用于系统评估多智能体辩论(MAD)在多种攻击下的安全性。该基准按 MAD 工作流建立分层攻击分类,涵盖已有攻击和针对辩论设计的新策略,在 356 个源任务、3958 个测试用例上评估了六个攻击家族对最终答案和对抗影响传播的作用。结果显示,受攻击时 MAD 未必提升 LLM 推理能力:在问答任务中相比单智能体基线可缓解对答案准确率的攻击,但在问答和工作区任务中都会放大未授权读写;即便五个智能体中三个合谋,也只在 28.30% 原本答对的任务上把最终答案由对改错,辩论过程中仅 3.26% 初始正确的诚实智能体转向错误答案。

  29. arXiv ·

    MEND:世界模型中潜在幻觉的无标签检测、定位与纠正

    研究提出 MEND(Masked Empirical-Bayes Neural Denoising),一种在冻结的自监督世界模型上、无需真实误差标签即可在推理时检测、定位并纠正潜在幻觉的方法。该方法用去噪分数匹配在真实状态转移上训练单个条件分数网络,其分数场同时承担检测、逐 token 定位与纠正方向三种角色。在两个导航环境中,MEND 不使用动作即达到最高 0.80 的 AUROC,逐 token AUPRC 最高 0.87,并可靠降低单步潜在误差、改善预测;作者指出部分误差与数据流形相切,因此重点放在检测与定位,纠正仍有待进一步验证。

  30. arXiv ·

    MiniRep:面向多智能体辩论的鲁棒声誉聚合方法

    MiniRep 是一种面向多智能体辩论(MAD)的声誉聚合系统,用于在存在恶意智能体时提升最终答案的可靠性。它基于声誉系统攻击与软件测试变异算子构建攻击分类体系,同时依据智能体在当前任务上的行为和长期声誉进行评估,并抑制高度相似回答的智能体群体主导决策。在 MATH 等任务上,MiniRep 无论是否遭受攻击都优于传统 MAD 聚合与常规声誉方法;在 10 个异构智能体的 MATH 设置下,于全部 28 种攻击条件下均优于所有基线。

  31. arXiv ·

    研究者提出梯度封堵实现 LLM 发布前的预防性遗忘

    研究者提出梯度封堵(gradient sealing)方法,用于在开放权重 LLM 发布前阻止下游微调重新习得被禁能力。作者先验证现有回顾式遗忘方法在发布前防护上不足:即使当前输出已抑制被禁能力,被禁领域数据仍能通过内部通路产生梯度,使能力在后续微调中被重新获得。梯度封堵的原理是把相关预激活推入负区间,使 ReLU 族激活的导数变为零或接近零,从而阻断这些通路。在多个 LLM 系列上的实验显示,该方法对下游能力习得的抵抗强于回顾式基线。

  32. arXiv ·

    研究:多智能体讨论中异议被压制时收益下降

    研究提出一个简约模型,解释 LLM 多智能体讨论何时提升准确率、何时形成错误共识,模型基于四类反复观察到的智能体行为:压制异议、内化已陈述答案、看到异议后重新考虑、向正确答案修正。模型显示,只有当压制率 c 低于临界率 c* = γ/(γ + a) 时,讨论才能推翻错误的初始多数,其中 γ 为净修正率、a 为内化率。作者用贝叶斯方法从对话日志估计这些比率,并在 HiddenBench 和 MedEInst 等基准上验证:随着压制率上升,讨论带来的增益缩小;指示智能体不要压制异议会提升增益;关闭推理同样提升增益,因为推理会提高内化率 a,使智能体不再重新考虑少数派答案。

  33. arXiv:后门、投毒与隐私 ·

    VirusCascade:劫持 LLM 推荐智能体的协同反思机制

    研究者提出 VirusCascade,一种针对 LLM 驱动的智能体推荐系统(LLM-ARS)的黑盒定向推广攻击。该系统把用户和物品实例化为自主智能体,通过协同反思反复精炼语义状态;注入单个智能体的对抗证据会被合理化为偏好叙事并写入记忆,再经交互上下文扩散到其他智能体,作者将局部合理化称为 reflection laundering,将系统级放大称为 collaborative-reflection hijacking。受控脆弱性分析确认了反思持久性与跨智能体传播两个可利用属性,VirusCascade 据此同时塑造语义与结构攻击面。在四个真实数据集和多种 LLM-ARS 架构上,该攻击在评估的隐蔽性约束下取得平均 E@20 为 0.384,比最强基线高出 0.185。

  34. arXiv:后门、投毒与隐私 ·

    Unmerge:用任务算术实现高效机器遗忘

    Unmerge 将机器遗忘重构为任务算术的逆运算:微调得到的合并任务向量减去低秩遗忘分量即可恢复保留任务向量,因为遗忘激活在每层都集中在少数主方向构成的子空间内。在 CIFAR-100 和 Tiny ImageNet 上对 ResNet-50 做类别级遗忘时,其 Tug-of-War 指标比同等运行时间的基线最高提升约 24%,比运行慢约 5 倍的更强基线最高提升约 18%,成员推断暴露维持在重训练水平。该方法同样适用于 ViT-S/16,并可扩展到 Llama-3.2-3B,其逐层基几何还可作为判断遗忘何时何地结构性困难的诊断工具。

  35. arXiv:后门、投毒与隐私 ·

    BadAction:通过动作引导触发器对交互式视频生成模型实施后门攻击

    研究者提出 BadAction,首次系统研究针对交互式视频生成(IVG)模型交互性的后门攻击。该方法把预定义运动模式植入后门样本的动作序列,并关联一个静态目标视频,触发后模型生成冻结的未来帧、不再响应用户后续动作,同时在正常动作序列上保持正常行为。实验显示,仅用动作触发器时平均攻击成功率为 91.0%,动作、文本、图像联合的多模态触发器为 80.4%。大量防御评估表明 BadAction 能绕过现有后门检测方法,暴露出交互式视频生成流程中的安全缺口。项目页面:https://wsad55.github.io/badaction01/。

  36. arXiv:后门、投毒与隐私 ·

    NDDL:用正常扩散动力学为文生图模型做后门防御

    研究者提出 Normal Diffusion Dynamics Learning(NDDL),一种仅用正常样本训练的文生图扩散模型后门防御框架。该方法观察到正常扩散轨迹在 cross-attention、潜空间和噪声空间中呈现结构化且随 timestep 变化的转移模式,而后门攻击会使其偏离这种正常演化。NDDL 构建紧凑的多空间轨迹表示,训练一个以 timestep 为条件的动力学模型来预测扩散演化,推理时用观测转移与预测转移之间的偏差量化动力学不一致性以检测后门。该框架还能在无需任何后门先验知识的情况下,通过低语义词替换实现触发器定位。多种后门攻击上的实验显示其有效性与泛化性。