全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 论文论文追踪
多智能体防御研究：Bot 旁列报告受控攻击成功率降低
一项多智能体防御研究显示，Bot 旁列（Bot sidelining）可降低受控攻击的成功率。该研究未给出完整的评测条件，因此具体攻击成功率数值与适用模型范围尚不明确。
- 论文arXiv：越狱、提示注入、投毒与防御
APEX：在 LLM Agent 执行边界主动防御间接提示注入
研究者提出 APEX，把间接提示注入的防御从识别攻击模式转向在执行边界检查每个待执行动作，即 Agent 将内部状态转为外部动作或输出释放的位置。APEX 在不受信任内容到达前把用户任务编译成授权契约，用两个机制读取它：WRAP 依据契约与运行时证据只放行可被证明授权的动作和参数，PLANT 在契约背书的依赖通道上放置探针，使未被任务背书的信息在使用时暴露。该方法只需对每个能力单元做一次与任务无关的注册，同一套中介逻辑统一适用于 Tool、MCP 和 Skill 调用，包括嵌套调用。在覆盖三类能力单元的六个基准上对比 13 个基线，APEX 在其中五个基准上攻击成功率为 0%，第六个为 0.56%，并在针对三类能力单元的自适应攻击下保持 0% 攻击成功率。代码已公开。
- 动态OpenAI
OpenAI 如何为 dots 智能体构建安全、安全（security）与隐私保护
OpenAI 为 dots 智能体构建了多层防护体系：底层由 GPT‑6 Astra 模型负责理解用户意图并拒绝有害请求，包括生物与网络安全滥用类请求。系统通过工具限制、行动前检查、提示注入防护和运行监控来约束智能体行为，安全监控发现风险时可暂停任务并向用户告警。每个 dot 运行在独立云工作区中，通过沙箱隔离代码与工具访问，安全登录流程使凭据不进入模型上下文。
- 论文arXiv：可解释性
针对 LLM 谄媚的纵深防御：记忆门控对激活诱导与记忆诱导谄媚的评估
研究提出一个 2×2 纵深防御框架，将内部激活引导与外部记忆处理分离，在 MemSyco-Bench 上评估四种开放权重模型，涉及 10 个引导系数和五种记忆防御配置。其中三种配置为新设计：重写全部记忆、对每条记忆保留/重写/丢弃的 Router Gate，以及丢弃全部记忆。在 Llama 3.1 8B 上，Router Gate 配合轻度反向引导（α = -1.5）将评委平均谄媚率从 35.80% 降至 31.32%，平均准确率从 43.99% 变为 43.31%，但该下降在 149 个样本上不具统计显著性（配对 p = 0.08 至 0.63）。
- 论文论文追踪
AdvSim2Real 用任务与注入对手共同演化训练网页智能体
AdvSim2Real 提出在冻结的网页世界模型中让任务课程、注入对手与智能体共同演化，以提升网页智能体对页面植入指令的鲁棒性。课程只奖励智能体约一半时间能解决的任务，对手只奖励能把判定成功翻转为失败的注入。训练后 4B 智能体的任务完成率在有攻击和无攻击下均上升，并能抵御训练中未见过的前沿模型对手，能力提升也迁移到真实浏览器。在 150 个网页任务上，面对这一未见对手，AdvSim2Real 相对基础智能体把完成率提升 33.6%。
- 论文论文追踪
CoVer：用干预检验为 Agent 构造可判定规则边界
论文提出 CoVer（corroborate-then-verify）方法，用于判断 Agent 执行的规则中哪些可由固定检查处理、哪些需要裁判。研究者在六个语料库（包括 EU AI Act、FINRA 指引和一个已部署的信贷 Agent）上，从三个实验室的四个模型收集约 2.2 万条标注，发现模型在答案明显时几乎完全一致，但在监管文本上分歧严重，且错误方向相反，无法把任一模型当作保守选择；在已部署 Agent 的规则集上，模型还会共同错误地声称固定检查足够，而这一方向永远不会被升级审核。CoVer 把模型一致视为提名，只有当为该谓词合成的检查能通过干预、读取 Agent 无法写入的字段并在确定性改写下保持成立时才接纳该谓词，从而拒绝大部分仅靠一致同意被错误接纳的谓词，代价是覆盖率的下降。
- 动态Microsoft UFO
Microsoft UFO v3.0.9 发布
Microsoft UFO 发布 v3.0.9，修复了 MSRC139482 和 MSRC138616 两个安全问题，涉及 ufo/client/mcp/http_servers/linux_mcp_server.py 与 ufo/utils/url_security.py、galaxy/webui/security 相关文件。同时将 GitHub Actions 固定到完整长度的 commit SHA。
- 论文论文追踪
论文提出长程智能体自生子目标的运行时授权机制
论文针对长程工具调用智能体在自生子目标、重规划和委派中可能超出主体授权任务的问题，提出一种运行时授权机制。每个目标图变更需携带版本绑定的见证，证明其延续轨迹、资源、义务、不变量和收束条件细化了当前根契约，受保护效果在原子提交边界重新校验，自由形式的目标文本不提供任何授权。作者在显式中介、抽象、新鲜性和原子性假设下证明了轨迹策略与建模禁止状态保持、条件性根成功保持、无记忆允许列表的分离结果、有限域可判定性以及可靠抽象细化下的通用安全单调性。可执行模型探索了 340 个状态和 419 次转移；在覆盖 25 种结构模式的 96 个匹配案例中，完整机制在 48 个漂移案例中零禁止状态提交，并完成全部 48 个良性对照。两条公开上游运行时路径在 32 个案例中执行 258 次原生调度，每个案例级决策与凭据链均匹配。
- 动态Inspect
Inspect 支持任务与查看器将日志内容标记为不可信并以纯文本显示
UK AISI 的 Inspect 合并新功能：任务可通过 ViewerConfig(trust_content=False) 在评测日志头部记录该日志内容仅以纯文本显示，默认 None 表示可信。eval_retry 重试时会保留上一次日志的 trust_content=False 及重新加载任务的查看器设置。inspect view、bundle、embed 新增 --trust-content/--no-trust-content（环境变量 INSPECT_VIEW_TRUST_CONTENT），该设置经 /app-config 传给查看器，且只能降低信任：False 将所有日志内容显示为纯文本，未设置或 True 则遵循各日志自身的 ViewerConfig。
- 动态sfdcdevelopers.com
SalesBleed 之后：Agentforce 提示注入防护的三项落地控制
作者结合 Zenity Labs 披露的 SalesBleed 研究，讨论 Agentforce 对外部 CRM 数据的提示注入防护。文章强调区分不可信记录与操作指令、审查智能体权限及持续检查防护配置。文中称已披露问题得到修复，并提醒既有记录和后续版本仍需评估；这些建议属于作者的防御实践说明。
- 动态OpenAI
OpenAI 如何监控内部编码 Agent 的失准行为
OpenAI 披露其内部编码 Agent 失准监控系统的运行方式与结果。该系统由 GPT-5.4 Thinking 以最高推理强度驱动，在交互完成后 30 分钟内审查完整对话历史、思维链和工具调用，对交互分类并标注严重等级，异常再交由人工复核。运行五个月、覆盖数千万条内部 Agent 编码轨迹，最高严重等级从未在真实对话中触发，仅在合成评测中出现；约 1000 条对话触发中等严重等级告警，其中不少来自内部红队测试，已升级至安全监督与安全事件响应团队。OpenAI 称监控系统覆盖了员工独立上报的全部交互，并发现更多原本未被注意的行为，同时指出模型在用户请求诱导下会过度绕开限制，但尚未发现自我保存或谋划等任务外动机。约不到 0.1% 的流量（主要来自定制或本地部署）暂不在监控范围内。
- 动态Cloud Security Alliance（AI 相关）
用零信任微隔离保护 Agentic AI：风险分级与 agent-to-tool 策略
云安全联盟提出用零信任微隔离约束 Agentic AI 工作负载，通过风险分级、agent-to-tool 策略、分层执行和持续验证，把受治理的出站流量变成智能体部署的前提。文章将智能体分为受限只读、工具启用等层级，要求按自主性、工具能力、数据敏感度和动作可逆性决定隔离深度，并默认拒绝未批准出站、限制非必要服务可达性。文中以企业编码智能体为例，说明其只需访问代码仓库、工单平台、包注册表和模型网关，不应因此获得生产数据库、身份基础设施、CI/CD 签名系统或密钥存储的可达性；MCP 只是 agent-to-tool 交互的一个例子，隔离问题范围更广。
- 动态Tenet Security / GitHub
Tenet 开源 agent-jackstop，为 Cursor 和 Claude Code 加固以防御 Agentjacking
Tenet Security 开源 agent-jackstop，提供面向编码智能体的加固配置，旨在降低不可信工具输出引发的提示注入风险。项目方强调网络出口控制、敏感数据访问限制及执行审批等运行时防护。相关防护效果属于项目方主张，不能仅凭配置发布视为已获得独立安全保证。
- 论文论文追踪
Uber 提出 ADR 企业级 Agent 检测系统，在 7200 台主机部署十个月
据 Uber 团队自报，Uber 团队提出 ADR（Agentic AI Detection and Response）系统，用于防护通过 MCP 运行的 AI 智能体，由采集提示词、推理步骤与工具调用因果链的 ADR Sensor、预部署红队的 ADR Explorer 和两级在线检测的 ADR Detector 组成。该系统在 Uber 部署超过十个月，覆盖 7200 多台主机、每日处理逾 1 万次 Agent 会话，发现 26 类凭证泄露，并支撑一个精确率 97.2% 的凭证泄露拦截层。ADR-Bench 与 ADR Sensor 及检测框架源码已在 GitHub 公开。 上述部署规模及效果来自团队自身报告，并非独立验证结果。
- 论文arXiv：越狱、提示注入、投毒与防御
研究揭示 CaMeL 防护在多智能体系统中失效并提出 multi-CaMeL
牛津大学等机构的研究者发现，为每个智能体单独部署 CaMeL 防护不足以保证多智能体系统安全：不可信数据跨越智能体边界后被下游智能体当作可信输入，从而劫持其控制流，作者将这一失效模式称为 boundary laundering，并构造了具体攻击。为此他们提出 multi-CaMeL，在智能体间通信中把可信自然语言指令与不可信数据分离到不同通道，并在运行时保留数据来源信息。在扩展 AgentDojo 得到的 MultiAgentDojo 基准上，multi-CaMeL 将攻击成功率从无防护的 12.9%、单智能体 CaMeL 的 0.2% 降至 0.0%；在 AssetOpsBench 上相对单智能体 CaMeL 平均仅增加 3.2 个百分点的效用损失，且模型能力越强损失越小。作者同时开源了 MultiAgentDojo 及 multi-CaMeL 实现。
- 论文论文追踪
SRFT：让 Agent 从失败经验中自我反思以抵御提示注入
研究者提出 Self-Reflection Fine-Tuning（SRFT）训练框架，让 LLM Agent 通过从自身在对抗条件下的失败经验中学习来提升鲁棒性。该方法不被动模仿专家行为，而是让 Agent 接触由注入攻击构造的被污染轨迹，再由专家模型生成结构化的自我反思推理，对比不安全动作与最优动作，从而学会识别恶意指令、推理其后果并保持与原始用户意图一致。作者基于 Llama-3.1-8B-Instruct 和 Qwen3-8B 构建了 SR-Agent，并在静态与自适应提示注入基准上评测，结果显示 SRFT 大幅降低攻击成功率，同时保持任务性能，在自适应攻击下也表现出较强泛化能力。代码已公开。
- 论文论文追踪
RAISED：用自蒸馏抵御工具调用中的提示注入
论文提出 RAISED（Robust Attack Invariance through Self-Distillation）训练框架，用于抵御工具调用型语言模型智能体面临的间接提示注入。作者指出，现有训练式防御会显著改变模型输出分布，在良性场景下也造成行为漂移，并存在一种失败模式：在良性工具使用任务中，模型会省略完成授权任务所需的步骤，尤其是该步骤由工具输出指示时。RAISED 先让模型自行生成工具使用场景，重点覆盖需要依据工具输出中的合法指引才能完成任务的情形，再通过自蒸馏让学生在同一轨迹的干净版本与注入版本上都对齐教师的干净上下文行为。论文称该方法大幅降低工具响应中提示注入的攻击成功率，且不同于此前的训练式防御，在智能体与通用基准上都能保持效用。
- 论文论文追踪
研究：任务范围授权可将工具调用有害执行降至零
该研究讨论任务范围授权与配对重放。
- 动态Undercode News
Dify 1.17.1 收紧知识库安全并修复 RAG 抽取
Dify 1.17.1 引入按数据集范围划分的知识库 API key，修复源文档抽取问题，并加固对不可信文档的处理。该版本还提示内置 Weaviate 需分阶段升级。上述内容来自 Undercode News 的二手报道，原始发布说明未被查阅。
- 论文Hugging Face Daily Papers
FailBank：用运行时反馈自进化提升 VLA 模型任务成功率
针对视觉-语言-动作（VLA）模型中运行时护栏只纠正单次动作、不改变底层策略的问题，研究者提出四阶段自进化框架 FailBank，把运行时反馈转化为持久的策略改进。在 VLA-Arena 基准的两个难度等级和两个 VLA 主干上，FailBank 相比基础策略将任务成功率提升 8.5 和 6.9 个百分点，策略引发的累计代价降低 35.6% 和 23.8%；相比运行时护栏，成功率提升 25.4 和 9.5 个百分点，累计代价相当。
- 论文论文追踪
MIRROR：面向多智能体通信的法定人数完整性防御
研究者提出 MIRROR，一种通信层完整性原语，用于防御 LLM 多智能体系统中的 Agent-in-the-Middle（AiTM）攻击。该方法将同一规范化载荷复制到 k 条逻辑路由，仅当严格多数路由报告相同摘要时才接受消息，其安全性来自诚实路由占多数的假设，而非密钥认证。作者在路由被攻陷比例 alpha < 0.5 下给出保证，并扩展到路由故障相关的情形，指出关键量是最大共享故障组规模而非路由数量；同时证明可用性与完整性在同一阈值退化，低于 alpha = 0.5 时法定人数拒绝和丢消息攻击者无法阻断诚实流量。该工作已被 NeurIPS 2026 FLMSec Workshop 接收。
- 动态Goodfire
Goodfire 推出基于蛋白质模型嵌入向量的生物安全序列感知监控器
Goodfire研究人员提出基于蛋白语言模型表征的序列风险监控器，用于生物研究智能体工作流中的双重用途筛查。他们在自建基准上发现，所测前沿模型的拒答主要受任务描述影响，对危险和良性序列的区分不足；序列监控器在被测改写、片段化和部分留出条件下优于序列比对筛查。作者报告该方法达到毫秒级处理，但重设计蛋白是否保留生物活性仅通过计算估计，未经实验验证。结果限定于被测序列与基准，不能视为全面生物安全保证。
- 论文arXiv
Pheo 提出 OATS：用确定性解析器在运行时治理 Agent 技能动作
Pheo Inc 的 Rohit Taneja 等人提出 OATS（Open Agent Trust System），在 Agent 决定动作但尚未执行时做运行时治理，回答的是某个动作在当前机器和操作者策略下是否被允许，而非技能是否恶意。作者在 66,192 个公开 ClawHub 技能版本上测量发现，705 个被三个扫描器和注册表评审全部判为 clean 的技能，仍指示了 CIS Control 2.7 和 NIST SP 800-53 CM-11 列为禁止的动作，涉及 135 个发布者，其中单一发布者占 506 个；对 100 个样本的人工审计给出 92% 精确率（95% CI [84.8%, 96.5%]）。OATS 的解析器不读技能文档、不调用模型，中位端到端耗时 67.6 ms，输出接入按（资源, 类别）计数的信任账本，升级阈值由操作者自述风险容忍度推导，而非固定十次干净批准。
- 论文论文追踪
HASTE：用稀疏威胁证据自动演化 Agent 护栏以抵御新兴攻击
HASTE 是一个多智能体框架，通过安全规范生成与攻击用例生成之间的对抗循环，从威胁报告和预印本中稀疏的描述或少量攻击样例出发，自动演化 Agent 护栏。安全规范引导护栏更新以修补已识别的安全漏洞，攻击用例则在每次更新后探测残余漏洞，评估结果反馈回两个过程，使护栏能应对初始证据之外的新兴攻击。在多种基座模型、攻击类型和证据形式上的实验显示，HASTE 持续降低攻击成功率，同时保持良性任务的效用。代码已公开。