全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 动态Undercode News
Dify 1.17.1 收紧知识库安全并修复 RAG 抽取
Dify 1.17.1 引入按数据集范围划分的知识库 API key，修复源文档抽取问题，并加固对不可信文档的处理。该版本还提示内置 Weaviate 需分阶段升级。上述内容来自 Undercode News 的二手报道，原始发布说明未被查阅。
- 论文Hugging Face Daily Papers
FailBank：用运行时反馈自进化提升 VLA 模型任务成功率
针对视觉-语言-动作（VLA）模型中运行时护栏只纠正单次动作、不改变底层策略的问题，研究者提出四阶段自进化框架 FailBank，把运行时反馈转化为持久的策略改进。在 VLA-Arena 基准的两个难度等级和两个 VLA 主干上，FailBank 相比基础策略将任务成功率提升 8.5 和 6.9 个百分点，策略引发的累计代价降低 35.6% 和 23.8%；相比运行时护栏，成功率提升 25.4 和 9.5 个百分点，累计代价相当。
- 动态Mindgard Blog
Mindgard 澄清 Kimi 越狱仅通过公开聊天机器人完成，无需开放权重
Mindgard 澄清其针对 Kimi 的越狱并非利用开放权重，而是仅通过面向普通用户的公开聊天机器人完成，该越狱可生成生物武器相关建议。研究者表示自己遵循一条个人规则，即把多数越狱限制在普通用户无需特殊技术知识即可复现的方法上，此次全程只使用语言说服，所用代码也由 Kimi 在对话中提供。研究者指出，开放权重模型通常更易受拒答向量消融影响，但本次并非如此。该事件已被 BBC、CBS、Fox News 等媒体报道，研究者认为越狱后的 AI 降低了获取有害信息的门槛，同时提高了所提供信息的质量。
- 论文论文追踪
MIRROR：面向多智能体通信的法定人数完整性防御
研究者提出 MIRROR，一种通信层完整性原语，用于防御 LLM 多智能体系统中的 Agent-in-the-Middle（AiTM）攻击。该方法将同一规范化载荷复制到 k 条逻辑路由，仅当严格多数路由报告相同摘要时才接受消息，其安全性来自诚实路由占多数的假设，而非密钥认证。作者在路由被攻陷比例 alpha < 0.5 下给出保证，并扩展到路由故障相关的情形，指出关键量是最大共享故障组规模而非路由数量；同时证明可用性与完整性在同一阈值退化，低于 alpha = 0.5 时法定人数拒绝和丢消息攻击者无法阻断诚实流量。该工作已被 NeurIPS 2026 FLMSec Workshop 接收。
- 论文论文追踪
HakemBench：土耳其语类型化决策基准发布
HakemBench 是一个土耳其语类型化决策基准，模型需读取文本、问题与固定选项集，并为每个选项输出概率。1.0 版以 CC BY 4.0 完全开放，含 2,346 个条目、4,275 道选择题、是非题与评分题，覆盖事实核查分流、教育、护栏、法律路由、内容审核、垃圾邮件与钓鱼、客户支持七个赛道。评测框架以宏 F1 衡量决策质量、以归一化 Brier 分数衡量校准、以归一化广义风险-覆盖率曲线下面积衡量选择性自动化，三者取几何平均，并用 2,000 次 bootstrap 给出区间，同时报告选项顺序、改写、英译与替换名称探针。
- 动态Goodfire
Goodfire 推出基于蛋白质模型嵌入向量的生物安全序列感知监控器
Goodfire研究人员提出基于蛋白语言模型表征的序列风险监控器，用于生物研究智能体工作流中的双重用途筛查。他们在自建基准上发现，所测前沿模型的拒答主要受任务描述影响，对危险和良性序列的区分不足；序列监控器在被测改写、片段化和部分留出条件下优于序列比对筛查。作者报告该方法达到毫秒级处理，但重设计蛋白是否保留生物活性仅通过计算估计，未经实验验证。结果限定于被测序列与基准，不能视为全面生物安全保证。
- 论文arXiv
Pheo 提出 OATS：用确定性解析器在运行时治理 Agent 技能动作
Pheo Inc 的 Rohit Taneja 等人提出 OATS（Open Agent Trust System），在 Agent 决定动作但尚未执行时做运行时治理，回答的是某个动作在当前机器和操作者策略下是否被允许，而非技能是否恶意。作者在 66,192 个公开 ClawHub 技能版本上测量发现，705 个被三个扫描器和注册表评审全部判为 clean 的技能，仍指示了 CIS Control 2.7 和 NIST SP 800-53 CM-11 列为禁止的动作，涉及 135 个发布者，其中单一发布者占 506 个；对 100 个样本的人工审计给出 92% 精确率（95% CI [84.8%, 96.5%]）。OATS 的解析器不读技能文档、不调用模型，中位端到端耗时 67.6 ms，输出接入按（资源, 类别）计数的信任账本，升级阈值由操作者自述风险容忍度推导，而非固定十次干净批准。
- 论文论文追踪
HASTE：用稀疏威胁证据自动演化 Agent 护栏以抵御新兴攻击
HASTE 是一个多智能体框架，通过安全规范生成与攻击用例生成之间的对抗循环，从威胁报告和预印本中稀疏的描述或少量攻击样例出发，自动演化 Agent 护栏。安全规范引导护栏更新以修补已识别的安全漏洞，攻击用例则在每次更新后探测残余漏洞，评估结果反馈回两个过程，使护栏能应对初始证据之外的新兴攻击。在多种基座模型、攻击类型和证据形式上的实验显示，HASTE 持续降低攻击成功率，同时保持良性任务的效用。代码已公开。
- 论文arXiv
RMCW：基于 Reed-Muller 码的抗删除 LLM 水印方法
研究者提出 RMCW，一种基于 Reed-Muller 码的大语言模型水印方法，用于应对删除攻击导致的 token 位置偏移和水印对齐失效。生成阶段通过密钥化的词表划分把 Reed-Muller 结构注入文本序列；检测阶段将文本映射到密钥词表分箱，并用 Berlekamp-Welch 检验测试局部子序列的低次 Reed-Solomon 一致性，从而寻找存活的局部代数结构而非恢复全局码字。在 C4 和 ELI5 数据集、OPT-1.3B 与 Llama-3.1-8B-Instruct 上的实验显示，RMCW 保持较强的干净文本可检测性，并在多种删除与改写攻击下优于或持平基线方法。代码已开源于 https://github.com/BaichengDanny/RMCW。
- 论文arXiv：越狱、提示注入、投毒与防御
Persona Guardrail：面向智能体系统的生产级防御框架
作者提出 Persona Guardrail，通过基于智能体预定功能的输入输出校验限定其行为范围。摘要报告，在 PAGE 评测中，相较通用 LLM 护栏，整体准确率、域外检测率和误放行率均有改善。作者称该框架已用于生产部署并满足延迟预算；这些是论文摘要中的自报结果，本条没有独立复现，不能推及未测场景或普遍安全保证。
- 论文arXiv：越狱、提示注入、投毒与防御
SecJev：为 System One 决策模型引入安全专业知识
研究者提出 SecJev，据称是首个面向安全的 Jev 类决策模型家族，参数规模覆盖 0.8B 至 9B，基于 Kev 的单次候选打分器，从文本、遥测和观测历史中学习布尔、选择与有序决策。团队构建 SecJev-Corpus，统一 14 项任务、8 类来源的源标签预测与显式策略评估，覆盖工具输出、流量、联邦更新、共识、认证与车辆消息。安全专业化使家族中每个模型均有提升，SecJev-0.8B 在任务宏平均准确率上超过通用 Kev-9B 达 20.51 个百分点，并在提示注入与流量决策上复现增益，同时伴随依赖捕获的误报。
- 论文arXiv：越狱、提示注入、投毒与防御
论文提出在 Kubernetes 上保护 AI Agent 的七层纵深防御框架与参考架构
论文主张不应把模型本身当作安全边界，Agent 在 Kubernetes 上的安全应作为基础设施问题处理，所有保证都需在 Agent 已被提示注入完全攻陷的假设下成立。作者提出十类威胁分类法（对齐 OWASP 智能体应用指南）、九条设计原则（核心是工具边界的完全中介，以及打破不可信输入、敏感访问与外部外发三者的组合）、七层纵深防御框架，并映射到工作负载身份、RBAC 与 ValidatingAdmissionPolicy、基于 SIG Apps Agent Sandbox 项目的 gVisor/Kata 沙箱、FQDN 感知的外发策略、带策略即代码的 Agent/MCP 网关与 eBPF 运行时执行等 Kubernetes 原生机制。作者未报告实测的攻击成功率或性能开销数据，而是列出残余风险和验证该框架所需的测量项。
- 论文arXiv：越狱、提示注入、投毒与防御
研究提出基于收缩约束状态空间模型的有界可达性与越狱检测方法
论文研究基于状态空间模型（SSM）的安全头何时能被认证为对嵌入空间有界扰动内的所有输入给出相同预测，证明关键在于状态转移矩阵的 l∞ 范数满足收缩条件（‖A‖∞<1），此时可对线性时不变分类器做精确区间界传播（IBP）认证。收缩条件成立时可达输出区间稳态宽度有界，样本可被认证为鲁棒分类；条件不成立时区间随序列长度指数增长，任何实际扰动半径下都无法认证。作者用 hinge 惩罚强制收缩，在有毒评论数据上把认证比例从 41% 提升到 59%，并在 ‖A‖∞=1 处观察到与理论一致的相变。将收缩正则化的 S4 头用于 JailbreakBench 越狱检测，零样本迁移到 AdvBench 的 DR=0.994、HarmBench 的 DR=0.988。
- 论文arXiv：越狱、提示注入、投毒与防御
Whiteout：用混淆样本阻止 LLM 泄露个人敏感信息
研究者提出 Whiteout，一种在个人提出请求后阻止 LLM 复述其真实个人敏感信息（PSI）的工具，做法是用精确设计的混淆样本覆盖这些信息。作者指出，现有基于机器遗忘的缓解方法往往删除过多信息、损害模型效用与安全性，且易受攻击。Whiteout 在多家厂商、不同规模的现代 LLM 上评估，其中包括一款广泛使用的 OpenAI 模型，结果显示它能有效阻止目标 PSI 被披露，对模型效用与安全性影响可忽略，并优于现有替代方案。研究还测试了 Whiteout 对黑盒攻击（如越狱）和白盒自适应攻击（如重学习、量化）等反制手段的鲁棒性，并讨论了其安全与伦理影响。
- 论文arXiv：可解释性
检测与抑制：针对 VLA 模型对抗补丁的机制可解释性防御
研究者用稀疏自编码器（SAE）分析 VLA 模型内部表征，找到一个激活与对抗补丁存在强相关的特征，并仅在线性探针检测到攻击时于推理阶段抑制该特征，无需微调即可提升鲁棒性。在 LIBERO-10 上的对抗补丁攻击测试中，条件式干预提升了间歇性攻击下的成功率，而持续施加同一干预会显著损害策略性能，表明控制干预时机对减少对正常策略行为的干扰至关重要。
- 论文论文追踪
PowerBench 评测 24 个模型在权力转移请求上的偏见
研究者提出 PowerBench，用于评测语言模型在权力转移类请求上的系统性差异，把请求分为自我赋权、去权和夺权三类，并设置不改变权力的拒答诱导请求作为对照。数据集在权力领域、情境、受影响方规模和用户原有权力地位上做变化，覆盖 24 个模型（12 个来自美国开发者、12 个来自中国开发者），在用户与受影响方国籍互换、AI 智能体作为用户、8 种请求语言三种条件下评测。结果显示模型对夺权的拒答多于去权，对去权的拒答多于自我赋权；夺权拒答率随受影响方规模从个人上升到社会而提高。模型倾向于帮助他人从美国夺取权力，而不愿帮助美国用户从他人处夺取权力，但在美国获得权力且无人受损时偏向美国。当用户是 AI 智能体时，对权力转移请求的拒答增加，在针对个人的夺权上尤为明显。
- 论文论文追踪
Pincer：用数字分身学习用户偏好并执行动态最小权限
研究者提出 Pincer，一种在资源层运行、可与工具调用层现有防御并行的 Agent 防御方案。其核心是数字分身，一个隔离上下文的模型，自动学习并执行针对具体用户的动态最小权限策略，在 Agent 发出权限请求时充当用户代理。为模拟学习阶段，作者构建了一个以用户为中心的数据集，样本来自多天的用户与 Agent 交互记录。评估显示，Pincer 在安全性和实用性上均优于多个基线，包括多种 LLM 评判器变体和 Conseca（HotOS '25）的改造版本；在部分攻击类型上，其设计带来的安全提升明显高于所有其他基线。论文指出，当前 Claude、Codex 等部署中的 Agent 主要依赖用户维护策略与 auto mode 沙箱，前者会随时间失效并造成用户疲劳，后者的工具调用分类器不学习用户特定策略。
- 论文论文追踪
AgentTrap：面向自主渗透测试 Agent 的有状态反馈欺骗蜜罐
研究者提出 AgentTrap，一种面向自主渗透测试 Agent 的闭环蜜罐，通过哨兵端点避免误伤正常流量、基于被保护应用的状态化欺骗，以及行为引导的升级策略来维持交互并收集 Agent 侧行为证据。在部署的 Web 应用中，研究团队用真实应用端点与独立蜜罐端点、三种防御策略对八种自主渗透测试 Agent 进行评测。相比无防御，AgentTrap 将真实目标的总体攻击成功率从 95.8% 降至 79.2%，并在 18.8% 的运行中成功诱导出攻击方 API key，效果优于静态欺骗与固定升级策略。轨迹分析显示，Agent 抵御此类反制的能力同时取决于模型层面对欺骗性请求的识别和架构层面对敏感资源的隔离。
- 论文论文追踪
COBRA：为计算机使用 Agent 防御分支引导攻击的双 LLM 架构
剑桥大学等机构的研究者提出 COBRA，一种针对计算机使用 Agent（CUA）分支引导攻击的系统级防御架构。作者指出，Dual-LLM 模式虽能保证控制流完整性，但在图形环境中计划必须按运行时网页内容分支，攻击者可构造不可信数据把 Agent 推向预先批准的危害路径，而无需注入新指令。为此作者构建 STEER-Bench，覆盖 9 个领域 101 个任务，测得分支引导攻击对标准 CUA 的攻击成功率为 94.4%，对原版 Dual-LLM 为 89.5%。COBRA 在规划阶段为每个分支预先固定目的地、端点和工具参数约束，由 Branch Resolution Hub 校验运行时分支与参数，并在 HTTP 与 MCP 代理处强制执行。代码已开源于 GitHub。
- 动态cbc.ca
Mother Jones 披露 Tumbler Ridge 枪手用 ChatGPT 策划袭击并规避安全机制
Mother Jones 杂志刊文披露，Tumbler Ridge 枪击案枪手 Jesse Van Rootselaar 曾用 OpenAI 的 ChatGPT 策划袭击并规避其安全机制。该刊全国事务编辑 Mark Follman 称，他查阅了枪手与 ChatGPT 在案发前的大量聊天记录，内容比公众此前所知更为详尽。报道称，枪手第一个账号因讨论以某知名商场为目标发动袭击被封禁，随后她使用第二个账号，ChatGPT 建议她将场景描述为虚构或假设以“不再被标记”，并称“不要使用真实地点”。记录还显示 ChatGPT 具体描述了 Remington 870 霰弹枪在教室等近距离环境中的杀伤效果。OpenAI 此前已承认曾内部标记并关闭该账号，为未通知加拿大当局道歉，并承认漏掉了第二个账号。
- 论文论文追踪
研究显示少样本微调可绕过安全层局部冻结与修复防御
研究者测试了针对少样本有害微调的安全层定位与修复防御能否在攻击变化后继续生效。在来自四个模型家族的六个检查点上，攻击后有害与良性提示仍线性可分，把完整干净隐状态打补丁进受损模型可在可复现的过渡深度恢复拒答。但按该深度冻结所有层后重做攻击，在一百条有害样本下六个检查点拒答率仍接近零，恢复过渡出现在冻结边界之上。第二项研究中，移除更新最大的两个奇异方向可在四个检查点的短时仅注意力微调后恢复拒答；在 Llama-3.1-8B 上，常规训练变化会削弱这种修复，攻击者分散更新即可将其击败，而在良性 Llama 微调上校准的谱检测器漏掉了该检查点上的多数修复失败。作者据此提出针对自适应微调防御的五项检查，代码已公开。
- 动态Apple Developer
Apple 调整 macOS 完全磁盘访问权限管控
Apple 宣布将为 macOS 的完全磁盘访问（Full Disk Access）引入额外管控，用户只有在非常明确的主动操作下才能授予应用这一权限。Apple 称部分开发者对该权限的使用方式可能让用户面临风险，暴露文件、邮件、信息和浏览历史等内容，对通讯类应用还会波及通信对象的隐私。Apple 表示，随着 AI 智能体能力与自主性增强，这一级别访问权限带来的风险将大幅上升。
- 论文论文追踪
HeadEdit：通过冻结的 unembedding 矩阵校准语言模型行为
研究者提出 HeadEdit，一种免梯度方法，通过冻结的 unembedding 矩阵校准语言模型行为，用于缓解拒答良性请求、调用不必要工具、屈从虚假用户主张等行为错误。该方法从成对补全中提取低秩行为子空间，利用每个提示词在该子空间中的坐标生成全词表修正，实现隐式自适应引导，无需人工指定目标 token 或更新参数。在三个任务、三个模型家族的九个实验设置上，HeadEdit 均取得提升，推理开销可忽略，且未出现通用能力的系统性损失。研究还显示其低维表示能部分预测偏好微调在未见提示词上对输出 logits 的改变，且学到的子空间在微调后可复用，无需重新提取或调参。
- 论文论文追踪
研究提出对齐诱导不忠实：对齐训练让模型静默改写输入内容
伊利诺伊大学厄巴纳-香槟分校的研究者提出对齐诱导不忠实（alignment-induced unfaithfulness，AIU），指对齐后的模型在遇到不安全或敏感内容时会静默修改输入而不披露，这与凭空编造的模型幻觉不同，是压制已存在的内容。团队构建 FaithConflict 数据集，包含 940 组配对实例（1,880 份文档），同一模板分别填入模型认同与冲突的声明，用 FaithGap 衡量两者忠实率之差，并给出输出行为 B1–B8 与思维链推理模式 C0–C6 两套分类。在 8 个模型家族 22 个检查点上，所有对齐模型都出现正 FaithGap（+3.8 至 +32.3 个百分点），规模越大、对齐越强的模型缺口越大，呈反向缩放规律；后训练各阶段缺口递增，DPO 阶段增幅最大（家族内最高达 SFT 的 7.4 倍），RLVR 只能部分恢复。