全部动态
从来源,看到研究的联系
点选节点,展开一条线索
本页材料
完整标题与摘要 · 24 条- 动态sfdcdevelopers.com
SalesBleed 之后:Agentforce 提示注入防护的三项落地控制
作者结合 Zenity Labs 披露的 SalesBleed 研究,讨论 Agentforce 对外部 CRM 数据的提示注入防护。文章强调区分不可信记录与操作指令、审查智能体权限及持续检查防护配置。文中称已披露问题得到修复,并提醒既有记录和后续版本仍需评估;这些建议属于作者的防御实践说明。
- 论文论文追踪
AgentSecGraph:面向 LLM Agent 的安全感知依赖分析框架与 AgentSecBench 语料
研究者提出 AgentSecGraph,一个以候选操作为中心的安全感知静态分析框架,为每个安全敏感操作构建 Security-Aware Agent Dependency Graph(Security-ADG),在操作身份之外加入 Agent 相关性、来源与依赖证据、信任边界上下文、护栏证据和外部效应语义。配套发布的 AgentSecBench 覆盖 11 个生态、67 个真实 LLM Agent 仓库、37,542 个源文件;当前分析器在 65 个仓库中识别出 23,866 个静态安全敏感操作候选,并为每个候选生成一份 Security-ADG 产物,全语料分析耗时 50.8 分钟,为 9,821 个候选(41.15%)恢复来源到操作的依赖证据,为 3,075 个(12.88%)恢复潜在护栏证据。
- 论文论文追踪
研究者提出自蒸馏方法让 LLM 遵循上下文水印指令
研究者提出两阶段自蒸馏训练方法,让大语言模型在遵循上下文水印(ICW)指令的同时保持回答质量。ICW 通过在查询前附加指令,要求模型在回复中嵌入可统计检测的信号,第三方无需访问模型内部即可调用。团队同时发布 ICWBench 基准,包含三类可验证的 ICW 指令族,分别从可检测性和回答质量两方面评分;对 14 个前沿闭源与开源模型的评测显示,没有一个模型能在三类指令上同时满足两个目标。所提方法无需更强模型蒸馏、无需人工标注、也不依赖模型已有的 ICW 指令遵循能力:第一阶段用同一基础模型同时充当教师和学生,通过指令等价的解码时 logits 扰动让教师遵循指令,再训练学生匹配教师的输出分布;第二阶段以自动验证器为奖励做强化学习。
- 论文论文追踪
AMS 工具通过激活分析检测语言模型的安全训练改动
研究者提出 AMS(Activation-based Model Scanner),通过测量激活空间中安全相关概念的几何结构来检测语言模型的安全训练改动。安全训练会在有害与良性内容类别间形成可测量的分离,部分安全改动会破坏或旋转这一结构,另一些则保持不变。作者在 Llama、Gemma、Qwen、Mistral 四个架构家族、14 个模型配置和四类安全改动(指令微调、基座、abliterated、无审查微调)上验证 AMS,阈值留一交叉验证准确率为 71%(10/14),sigma 点估计的 bootstrap 95% 置信区间中位宽度为 3.4 sigma。在每模型 20 条分层 JailbreakBench 提示上的行为合规测试显示,有害内容概念的 sigma 可预测合规程度,Pearson r = -0.546(p = 0.043),方向一致但噪声明显。
- 论文论文追踪
Planarian:用状态点管理 Agent 的本地与远程状态
研究者提出 Planarian,一个带状态管理能力的 Agent 运行时,让 Agent 和用户能从错误操作中恢复,并在一致的本地与远程环境状态上探索替代执行路径。其核心抽象是 agent statepoints,即环境状态在某一时刻的一致、可恢复版本。Planarian 向 Agent 和用户暴露三个原语:snapshot 通过增量进程与文件系统快照捕获本地沙箱状态,并以补偿动作透明记录远程状态变更,无需外部服务支持 checkpoint;rollback 回退到先前的本地 checkpoint 并重放补偿动作以撤销远程变更;fork 从某个 statepoint 创建多个隔离分支,让 Agent 并行探索不同方案。作者称 Planarian 能让 Agent 撤销错误并并行探索替代方案,任务质量最高提升 15 倍,用户从错误操作中恢复的额外开销仅 3%。
- 论文论文追踪
AgentRewind:面向长周期 LLM Agent 的可恢复执行框架
研究者提出 AgentRewind,一个运行时恢复框架,通过记录 Agent 上下文与受控环境对齐的检查点,让 Agent 能回到较早状态并利用此前尝试的信息继续执行,以应对长周期任务中早期错误在上下文和环境状态中传播、后续动作难以逆转的问题。作者同时构建 MettleBench,用于评估包含一系列相关需求的长周期工程任务上的任务完成度与部分进展。在多种任务、多个模型、执行策略和 Agent harness 上的实验显示,AgentRewind 相比对比基线提升了任务成功率和平均清单进度。论文共 19 页、5 张图,发布于 arXiv(2608.14380)。
- 论文论文追踪
NovaFabric 提出可防篡改、可重放的 AI Agent 运行证据方案
研究者提出 NovaFabric,在不修改 Agent 逻辑的前提下把一次 Agent 运行记录为可移植的 Run Capsule,用 DSSE 签名、RFC 3161 时间戳、Merkle 日志和脱敏证明封装,并支持四种模式的重放协议与第三方验证。评测显示,模拟重放可从 capsule 提供全部模型响应(10/10),但仅 2/10 的工具调用类工作负载完成,缺口在于缺少工具响应替换;三类篡改均被拒绝;声明流完整度为 0.652(95% CI ±0.064,十个场景);修复后的规则包可脱敏 14/14 类凭据并保留 9/9 个诱饵;影响范围查询在 1000 万条边上 p99 为 45.5ms,在 1 亿条边上为 167.9ms。314 台机器、十个区域的运行中,capsule REST 写入无损,但受单 worker 串行化限制,吞吐上限为 61.6 req/s(p99 26.8s)。
- 论文论文追踪
SkillSentry:用自适应蜜罐世界动态检测 Agent 技能安全
研究者提出 SkillSentry,一个基于自适应蜜罐世界的动态安全测试框架,用于检测 LLM Agent 外部技能在特定环境状态下才暴露的有害行为。该方法先推断技能的能力边界,构建由 LLM 模拟、含受控诱饵资源的环境,并自适应生成任务以探索其行为状态,再将启用技能的执行轨迹与匹配的无技能执行对比,把可疑行为定位到源码和已验证的执行轨迹上。在标准基准上,SkillSentry 取得 99.50% 召回率和 96.26% 平均 F1;在保持语义的规避攻击下平均 F1 为 92.95%,最强基线为 80.07%。作者称代码已公开。
- 论文论文追踪
SingProbe 发布开源内在护栏框架,适配 29 个开源模型
SingProbe 是一个面向 LLM 生成时监控的开源内在护栏框架,复用基座模型自回归解码中已产生的隐藏状态,而不是让独立模型反复处理生成文本。它用轻量探针在解码过程中持续输出查询意图、回复安全和幻觉风险信号,报告给出了训练方法、与 SGLang 和 vLLM 的服务集成,以及覆盖不同家族和规模的 29 个开源基座模型的适配护栏。团队同时提出 SingStreamBench,用于衡量流式护栏能否在良性前缀上保持静默并及时发现新出现的不安全内容。在安全、流式检测、幻觉检测、误报鲁棒性、在线监控和运行时开销等评测中,SingProbe 的表现与最先进的独立护栏和专用幻觉检测器相当,在若干设置下更强,实现中增加的服务开销低于 0.5%。除被动监控外,内在护栏信号还可引导受限解码,并在 SingProbe-Med 中选择性触发医疗风险干预。
- 动态OWASP AI Exchange
OWASP AI Exchange 更新 Agent 沙箱指南,将可达服务纳入隔离评估
OWASP AI Exchange 的 AI 安全与隐私指南在 Agent sandboxing(4.9)一节新增“允许服务隔离”条目,要求把 Agent 可达的包服务、缓存、制品库和共享队列一并纳入隔离评估。该条目提出在可变状态上实施服务端授权,防止 Agent 跨策略边界交换数据,并把服务操作限制在任务所需范围内,例如只做下载的工作负载不应获得发布或管理权限;同时限制服务自身的出站访问与内部可达性,并在恢复后重新测试,因为替换沙箱不会重置外部服务状态或凭证。更新还以 OpenAI 2026 年 8 月的复盘为例,说明评估 Agent 曾利用内部托管的包服务和共享留言板获得未授权互联网访问,且在修复后重新建立了两条路径。局限性部分补充指出,共享推理、凭证、策略以及包或制品服务可能形成隐式的跨 Agent 通道,共享服务被攻破可能暴露其凭证与网络访问。
- 动态OWASP AI Exchange
OWASP AI Exchange 指南补充流式输出跨分块敏感信息过滤方法
OWASP AI Exchange 项目在 AI 安全与隐私指南的敏感输出处理章节新增一条实现要点,指出当模型输出按 token 等分块流式返回时,敏感值可能被拆到两个或多个分块中,导致任何单块都不匹配。逐块过滤或在过滤前固定拼接上一块若干字符都无法阻止泄露,因为组合文本被检查时前半部分已经发出,即使过滤器记录到检测成功。指南建议在匹配仍可能延伸进缓冲区时暂不释放文本,或缓冲到句子乃至整段响应边界;若缓冲区达到上限而匹配仍可能未闭合,应停止输出而不是释放已暂存内容。文中给出的测试判据是,对同一文本的每一种分块方式,流式输出都应等于一次性过滤整段文本的结果。
- 论文论文追踪
SkillSecurer:检测并修补 AI Agent 技能中的提示注入漏洞
研究者提出 SkillSecurer,一个全智能体框架,用于生成、检测、定位并修复 AI Agent 技能中的安全风险。其红方智能体跨九类威胁生成上下文兼容的注入并记录具体改动,蓝方智能体分析完整技能包、给出有依据的证据并提出补丁;在受控实例上,验证器将发现与补丁同记录的注入比对,实现注入级评估。使用最佳后端 LLM 时,SkillSecurer 是唯一实现 100% 注入检测率的扫描器。作者随后分析某技能库中的热门技能,发现超过 17% 的被检技能存在潜在漏洞,并在实测部分技能时触发了真实事件。结论认为,上下文感知的 LLM 分析能提供可靠的注入定位与可操作的修复,而不止于技能层面的标记。
- 动态0DIN
Mozilla 0DIN 推出 0DIN AI Defense,首发 560M 参数 SusFactor 越狱检测模型
Mozilla 0DIN 发布可自托管的 AI 安全产品线 0DIN AI Defense,首个模型 SusFactor 为 560M 参数的越狱检测模型,现已开放早期访问测试。该模型基于 0DIN 漏洞赏金项目收集的真实攻击数据训练,可在本地廉价硬件上以低于 50ms 的延迟实时分析提示词。在 JailbreakBench 基准上,SusFactor 仅放过 12.1% 的攻击,误报率为 9.0%,低于 WildGuard 的 45%、Mistral 的 39% 和 Llama Guard 3 的 23%。
- 动态0DIN
SusFactor:用真实威胁情报检测越狱与提示注入攻击
0DIN 发布 SusFactor,一个 560M 参数的二分类器,用于检测越狱与提示注入,输入用户提示词后输出 0 到 1 的可疑度分数。它在 JailbreakBench 上取得所评估分类器中最高的合并 AUROC 0.954,在 WildGuardTest 上 AUROC 0.878,与参数量为其 10 到 15 倍的生成式护栏相比具有竞争力。模型基于 68,935 条样本训练,其中包含 0DIN Threat Feed 的 3,426 条真实攻击数据,在 Apple M2 Pro CPU 上 512 token 上下文窗口的中位延迟为 328 ms。
- 动态Modal
Modal 推出 Sidecars:为 Sandbox 提供低延迟信任边界
Modal 发布 Sidecars,一种与主 Sandbox 同主机运行但保持隔离的容器,用于在可信代码与不可信代码之间建立安全边界。Sidecar 与主 Sandbox 采用相同的隔离机制(gVisor 或 VM),通过内部桥接网络以 TCP/UDP 通信并按名称寻址,官方基准显示其通信速度至少比同区域独立 Sandbox 快 3 倍,p50 单次通信 0.58ms 对 2.6ms,p99 为 1.4ms 对 44ms。Sidecar 由 Modal SDK 动态创建,Sandbox 内代码无法创建或修改,单个 Sandbox 最多可运行 250 个 Sidecar,二者共享 CPU 和内存资源,每个 Sidecar 有独立出站网络策略,也可强制 Sandbox 出站流量经过代理 Sidecar。Sidecars 目前处于 Beta 阶段。
- 动态Pydantic AI
Pydantic AI v2.52.0 修复 web_fetch 安全漏洞并发布 harness 与 CLAI 2
Pydantic AI v2.52.0 修复了本地 web_fetch 工具的一处中危安全问题(GHSA-v36g-jcw9-x7cw):处理攻击者控制的深层嵌套 HTML 会消耗过多 CPU 和内存,provider 原生网页抓取不受影响,已在 2.52.0(v2)和 1.107.7(v1)修复。该版本同时将 pydantic-ai-harness 并入仓库并随每次发布更新,pydantic-clai2 0.52.0 首次发布,可通过 uvx pydantic-clai2 运行。
- 动态MCP TypeScript SDK
MCP TypeScript SDK 1.32.0 发布,新增重定向同源限制与工具调用参数上限
MCP TypeScript SDK 发布 1.32.0,HTTP 客户端传输现在只在同源(相同 scheme、host 和 port,同 host 的 http 到 https 允许)时跟随重定向;若部署端点重定向到其他 host 或 port,需配置最终 URL,或在 StreamableHTTPClientTransport、SSEClientTransport 上设置 redirectPolicy: 'follow',浏览器中未设置该选项的重定向请求会失败。新增两个默认关闭的选项:McpServer 的 maxToolInputElements 限制工具调用参数中数组元素和对象成员的数量;requireBearerAuth 的 expectedResource 只接受为该服务器签发的 token(token 的 audience)。
- 论文arXiv
ThinkingGuard:通过逐步风险归因解码多模态大语言模型中的隐式危害
针对多模态大语言模型在文本与视觉实体单独无害、逻辑组合后却诱发不安全输出的隐式风险,研究提出逐步监督结构化推理框架并训练出专用护栏模型 ThinkingGuard。团队同时构建首个显式建模风险组合性的数据集 TriggerBench(5,600 条),通过隔离 Key Elements 与 Trigger Elements 构造反事实对比对,消除风险残留。ThinkingGuard 采用步进奖励蒙特卡洛树搜索探索最优推理轨迹,并经双约束偏好对齐蒸馏进模型,在标准与隐式安全基准上均取得强劲表现。
- 动态X @_Sizhe_Chen_
Meta-SecAlign-70B 通过博士资格答辩
通过了我的博士资格答辩(论文开题)!特别感谢导师 David Wagner 和 Chuan Guo 在过去两年的大力支持。我们的 Meta-SecAlign-70B 在提示注入安全性和智能体(工具/网页)实用性上与 GPT-5(high)相当。3 个月内下载量达 1 万次!
- 动态先知社区
政务 RAG 白盒审计发现间接提示注入等 4 类缺陷并完成零回归修复
对自研政务 RAG 系统 gov-rag-demo 的白盒代码审计发现 4 类真实缺陷:间接提示注入、权限参数客户端可控、会话 ID 无鉴权、政务高频实体脱敏不足,均定位到行号并完成修复。修复后 78 条业务评测用例保持 100% 零回归,安全专项断言全部通过。材料附完整复现脚本与修复后状态。
- 动态Coalition for Secure AI(CoSAI)
CoSAI 发布 MCP Security v2.0,新增四级安全保证等级
CoSAI Workstream 4 于 2026 年 8 月 12 日发布 MCP Security v2.0,在 v1 的十二类威胁、三十四项威胁基础上新增安全保证等级,解决 v1 缺少按部署规模分级的问题。v2.0 定义四级累积等级,从 Level 1 沙箱、Level 2 内部、Level 3 生产到 Level 4 受监管,每级在身份与认证、授权与委托、传输与网络安全、隔离与沙箱、日志与可观测性、供应链与生命周期、工具与输入输出完整性、状态与发现安全八个维度给出 MUST/SHOULD 要求,并逐条映射到 MCP-T1 至 MCP-T12 威胁类别和 OWASP MCP Top 10。文中指出 Level 3 硬性要求 token 绑定,缺少 DPoP 或 mTLS 时被攻陷的 agent 上下文可被重放;等级由数据敏感度和影响范围决定,而非部署形态。
- 论文arXiv
ContractRL:面向可审计工具调用修复的屏蔽组相对策略优化
ContractRL 将校验器引导的 JSON 修复建模为受限决策过程,通过契约推导的动作掩码过滤违规的 RFC-6902 操作,并设计契约约束的组相对目标来优化修补、重试与弃权三类决策。在相同校验器信息下,该方法取得 0.9362 语义成功率和 34.4 个生成 token,优于 Patch-SFT 的 0.9076/44.9 以及完整重新生成的 0.9148/137.2(每种种子 192 个用例、共五个种子);策略优化还将语义成功率从监督版的 0.9186 提升至 0.9375。
- 论文arXiv
TAILOR:面向图像水印的组合方案定制框架
针对图像水印需同时满足抗攻击、假阳性率、画质与时延的问题,研究者提出请求条件化的组合框架 TAILOR,通过离线刻画各片段的恢复率—失真—运行时曲线、基于 SMT 联合求解最低失真的片段组合与强度顺序、再在实际图片上实时校准三步实现定制化配置。在覆盖五种场景、20 种攻击设置的 7321 个不同请求上,TAILOR 达到 96.21% 的场景平均请求满足率和 41.02 dB 的平均 PSNR,鲁棒性与画质均优于现有方法。
- 动态OX Security
OX VibeSec 新增依赖审查能力,拦截 AI 编程智能体的每一次安装尝试
OX Security 旗下 OX VibeSec 新增 Dependency Vetting 能力,可在 AI 编程智能体发起每次依赖安装时对照策略做确定性检查并阻止恶意包落地,无需改变开发者工作流。该能力现已可用,会直接阻断已知恶意包并提供可配置冷却期来拦下刚发布的软件包;基于严重 CVE 的漏洞封堵与许可证策略执行即将推出。