全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 动态HiddenLayer Research
HiddenLayer 如何将 AI 安全防护嵌入 Azure AI Foundry、AWS、Databricks 与编码智能体
HiddenLayer 把 AI 安全能力直接嵌入团队既有工作流：AI Supply Chain 模块扫描 Azure AI Foundry 目录中接入的模型，检查篡改、后门与已知漏洞，并在 AWS 覆盖 Bedrock、Bedrock Agents、SageMaker 和 Strands 框架，在 Databricks 中针对 Unity Catalog 自动扫描模型。检测结果可输出到 Splunk 和 Microsoft Sentinel，护栏原生集成 LangChain、LiteLLM、OpenAI Agents SDK、AWS Strands 与 TrueFoundry 网关，Agent Harness Security 则接入 Cursor、Claude Code 和 GitHub Copilot 的原生 hook。
- 动态AI Frontiers
《Obsolete》节选：AI 军备竞赛并非不可避免，只是有利可图
AI 军备竞赛并非技术必然，而是利润驱动——前沿 AI 公司认为率先实现 AI 研发自动化可将暂时领先转为永久优势。Garrison Lovely 在《Obsolete》第 16 章指出，前沿模型训练依赖高度集中的供应链：ASML 垄断先进光刻机，TSMC 制造几乎所有先进 AI 芯片，Nvidia 设计芯片，因此政府只需限制少数几家公司即可叫停大型训练。美国已具备出口管制、国家安全权力和联邦合同等法律工具，曾据此限制对华先进 AI 芯片及制造设备出口，并促使荷兰、日本跟进。
- 论文arXiv
10a Labs 测绘无审查开源模型生态：3,471 个原始模型与 8,164 次再分发
10a Labs 对 2024 年 1 月至 2026 年 3 月初 HuggingFace 与 GitHub 上的无审查开源模型生态做了全链路测绘，识别出 3,471 个原始无审查模型和 8,164 个压缩再分发版本。每个原始模型平均被重新打包 2.4 次，三个再分发者（mradermacher、Triangle104、RichardErkhov）占全部压缩再分发的 52%，huihui-ai 的 192 个原始模型衍生出约 1,800 个下游重打包。生产端与再分发端基本分离，至少 1,055 个生产者和 1,011 个再分发者中仅 24% 重叠。GitHub 上识别出 1,643 个集成无审查模型的应用，其中 25% 被判定为明确恶意，Dolphin 系列单独支撑 30% 的应用，43% 的应用 README 提到 Ollama。
- 论文arXiv：越狱、提示注入、投毒与防御
KITA：为 LLM Agent 设计密钥隔离的阈值签名授权架构
研究者提出 KITA，一种从审查到授权的架构，将用户个人签名密钥和所有阈值签名密钥份额置于所有 LLM 进程之外，以阻止提示注入从判断边界跨越到执行权限。在阈值签名不可伪造性和其系统假设下，攻击者即使攻陷提案方和少于 t 个审查签名域，也无法在没有 t 个不同域签名贡献的情况下为新动作生成有效授权，因此任何此类授权都包含来自未被攻陷域的份额，并绑定到规范动作、仅在通过认证的审查者批准后释放。作者用结构化输出 LLM 适配器和阈值 BLS 实现了完整的审查者到执行者路径，通过六项系统测试验证该接口上的法定人数门控与消息绑定，并用密码学微基准测量在线签名路径及其扩展行为。
- 论文arXiv：越狱、提示注入、投毒与防御
研究提出面向企业 MCP 的零信任授权与工具发现方案
论文对企业级 MCP 的授权缺口做了系统分析，并给出不改动协议与 SDK 内部实现的 FastMCP 可组合扩展。作者调研 Python、TypeScript、Go、Rust、C#、Swift 六种 MCP SDK，指出三个结构性缺陷：凭据提取绑定单一 Authorization 头，使同时服务人类用户（企业 SSO）与自动化 Agent（不同请求头上的服务账号凭据）的双角色部署需要自定义中间件；缺少认证前的工具发现；基础 SDK 缺少按工具的细粒度授权。
- 论文arXiv：对齐、欺骗与监督
研究揭示基于混淆的端侧 LLM 保护方案的安全边界
论文针对 TEE 保护的端侧 LLM 提出一套混淆原语，用线性计算的双元组形式统一刻画代表性 TEE-Shielded LLM Partition（TSLP）方法，并给出这些原语组合的规范形式作为安全边界。作者据此设计原语引导的攻击方法，指出 ArrowCloak（Security'25）、TSQP（S&P'25）和 LoRO（NeurIPS'25）等 TSLP 方法存在共同脆弱性。论文随后引入两种新的混淆原语并与现有构造结合，形成扩展原安全边界的防御方案。该工作已被 ACM CCS 2026（Cycle B）接收，共 16 页。
- 论文arXiv：对齐、欺骗与监督
基于硬件 PUF 指纹的知识蒸馏设备级溯源框架
针对知识蒸馏中教师模型易被窃取且现有水印或硬件访问控制难以定位泄露设备的问题，研究者提出一种将设备专属 PUF 签名叠加到教师 logits 上的指纹框架，使经知识蒸馏训练的学生模型继承与硬件绑定的唯一身份。该方案在 Xilinx Zynq-7020 FPGA 上测量环形振荡器（RO）PUF 生成签名，架构无关，可跨 CNN、Vision Transformer 和编码器继承身份，并通过神经解码器与汉明距离精修的两阶段恢复流程在噪声条件下保持高检测准确率，另引入多级 logit 编码支持大规模设备部署。实验显示嵌入指纹能抵抗常见的蒸馏后修改。
- 动态腾讯 AI-Infra-Guard 版本发布
腾讯 AI-Infra-Guard v4.6.4 发布，新增可组合提示注入研究工具包 pikit
腾讯 AI-Infra-Guard 发布 v4.6.4，在 Research/pikit 下新增可组合提示注入研究工具包 pikit。该版本同时修复 Skill-Scan，将可选的 reasoning effort 转发至模型 API，并更新了 Research/pikit 的 README 文档。
- 论文arXiv：Agent 与 MCP 安全
面向 AI-SOC 的神经符号防御框架：用 SIEM 解码器与 NeMo Guardrails 阻断日志投毒提示注入
论文提出一种神经符号纵深防御架构，用于保障 LLM 接入安全运营中心（SOC）后的管道完整性，应对通过日志投毒实施的间接提示注入。作者指出，攻击者可在系统日志中嵌入恶意载荷，形成多步 promptware 攻击链，劫持 LLM 的操作逻辑；而确定性防御语义盲、纯神经评估延迟高且存在概率性缺陷。该框架第一层用定制 SIEM 解码器作为确定性预过滤，在数据摄入边缘做结构化清洗，消除体量填充和基于签名的注入；第二层用 NeMo Guardrails 在 LLM 处理前对结构化 SIEM 告警做自检式语义边界校验；同时集成闭环遥测系统，在 SOC 仪表盘中为人工介入提供被拦截攻击的可见性。
- 论文Hugging Face Daily Papers
PatchHolmes：基于列表式选择的智能体补丁检索系统
PatchHolmes 提出让 AI 智能体一次性读取前 100 个候选提交并通过四个预算受限的工具逐一打开提交来定位漏洞修复补丁的方法，将 Recall@1 从逐点系统的 34.61% 提升至 59.95%。该系统无需微调和付费搜索 API，仅依赖冻结的开源权重模型运行于本地 Git 克隆仓库之上，单次处理约消耗 96000 输入 token、执行 8 次工具调用并阅读 5 个提交。
- 论文arXiv：越狱、提示注入、投毒与防御
推理层安全：防御对抗性推理与基础设施滥用
论文研究 LLM 服务在推理层面临的对抗性交互，包括越狱、拒绝服务与知识蒸馏攻击，并以假设的前沿实验室 Five Elements Inc. 为例展开。由于缺少公开的对抗性 LLM 使用标注数据集，作者提出结构因果模型（SCM）生成带标签的用户会话数据集，包含协同多账号活动、平台反馈和三个层级的标签可观测性。在该数据集上训练的梯度提升检测器对 oracle 标签的二元分类 AUPRC 达 0.993，但面对真实 Trust & Safety 团队持有的运营标签时 AUPRC 仅 0.313，说明检测器比用于评估它的标签更准确。攻击类型归因方面，朴素 argmax 受 98% 良性先验主导，macro-F1 仅 0.295，改用简单阈值决策引擎后提升到 0.489 且不损失准确率。数据集已公开。
- 动态Pillar Security
Pillar Security 披露 Unsloth Studio 任意代码执行漏洞，2026.6.9 已修复
Pillar Security 在 Unsloth Studio 中发现任意代码执行漏洞：用户在界面中选择模型时，后端会下载并运行该模型 HuggingFace 仓库中的 Python 代码，仅读取 config.json 即可触发，无需加载权重或推理。缺陷位于 studio/backend/utils/models/model_config.py，load_model_config 的 trust_remote_code 默认值为 True，能力探测路径未覆盖该值，且 transformers-5 子进程分支硬编码为 True，用户自身的 trust_remote_code 设置（默认 False）从未被查询。
- 动态Embrace The Red
研究者披露 SQL Copilot 提权漏洞 CVE-2026-65669：从 SELECT 到 SYSADMIN
安全研究者 Johann 在 BlueHat Asia 2026 上披露了 SQL Server Management Studio（SSMS）中 SQL Copilot 的提权漏洞 CVE-2026-65669，微软将其评为严重级别。Copilot 沿用查询窗口的数据库连接执行 SQL，用户以 sysadmin 身份连接时它也拥有同等权限；所谓只读模式只靠系统提示词和 LocalSqlExecutionAccessChecker 类中的正则黑名单，没有独立的低权限连接。作者用间接调用存储过程的写法绕过黑名单，使 Copilot 能执行 CREATE、INSERT、UPDATE、DELETE、DROP 等写操作，并演示了数据外传。完整攻击链中，数据库所有者在库里埋入恶意指令，等高权限用户使用 Copilot 时经间接提示注入触发，最终把攻击者的登录加入 sysadmin 角色。作者建议把智能体的只读限制做成权限层面的约束，并提醒及时更新。
- 论文arXiv
SynChain：诱导计算机使用 Agent 自建攻击链并跨任务持久化
研究者提出 SynChain，一种自合成攻击范式，通过持久化感知的定向 SFT 让被污染的计算机使用 Agent 在正常任务中生成看似无害但携带潜伏载荷的技能或记忆条目，之后作为可信上下文重新加载，无需新的外部恶意输入即可触发。作者构建了 CuaChain 数据集，包含 30 条良性任务链和隐私泄露、权限篡改、未授权写入三类攻击目标。在 OpenClaw、Codex 和 Claude Code 三种框架、四种防御设置下，SynChain 在 Chain-1 平均攻击成功率超过 93%，Chain-2 仍高于 72%，显著优于改造后的 SkillJect 和 DemonAgent 基线。随着链长增加攻击效果下降，Chain-3 降至 26.57%，Chain-5 仅 1.11%，作者将其归因于记忆摘要和上下文截断形成的信息瓶颈。
- 论文arXiv：后门、投毒与隐私
Akrasia：针对推理型代码 LLM 的隐蔽后门攻击
研究者提出 Akrasia，一种针对推理型代码 LLM 的推理时后门攻击，通过探测模型构造代码级触发器，再用上下文学习植入后门，并借助模型不忠实性隐藏触发器、生成看似合理的推理。在 GPT-5.5、Claude Sonnet-5、Gemini 3.5 Flash、DeepSeek-V4-Pro、GLM 5.2、Qwen3.6-35B 六款模型上，攻击在 CodeMMLU 代码补全任务的平均 ASR 最高达 99.34%，同时保持最高 97.23% 的准确率。在 CoS、ONION、PeerGuard 三种防御下，Akrasia 在 14/18 个防御设置中仍保持最高 98.82% 的平均 ASR；人工检查中，进阶变体在最多 80% 的设置里成功隐藏触发器与推理步骤。攻击目标包括反向 shell、凭据窃取、资源耗尽和长运行时间，作者据此呼吁针对推理后门开发防御方法。
- 论文arXiv：后门、投毒与隐私
去中心化联邦学习中的拜占庭节点放置优化
去中心化联邦学习（DFL）的安全评估通常关注拜占庭参与者如何行动，却忽视了哪些参与者被攻陷。研究者将拜占庭节点放置视为攻击者的显式决策，提出集合级度量 BPI（Byzantine Placement Influence），从实际 gossip 动态中量化诚实节点在训练周期内对拜占庭源的累积暴露，并给出高效优化算法。在六类异构图、无目标模型投毒与后门攻击下，BPI 引导的放置均能稳定找到高破坏性配置，且在拜占庭鲁棒聚合放松线性 gossip 假设后依然有效。
- 论文arXiv
论文用 Tamarin 形式化分析 x402、MPP、ACP、AP2 四个智能体支付协议
论文在 Tamarin 中形式化建模 x402、MPP、ACP、AP2 四个代表性智能体支付协议，基于统一的智能体支付生命周期抽象刻画各协议的角色、状态、信任假设与阶段转换。作者不预设完整属性分类，而是用有来源支撑的验证问题和反例轨迹暴露缺失的绑定、状态约束与跨阶段对应关系，归纳出 18 条共享安全原则。在 86 个验证用例中，分析复现了 46 个已知或校准用例，并识别出 40 项此前未记录的形式化一致性问题。对每个保留的违规，作者定位缺失的协议关系，构造最小强化的参考模型并重新验证目标属性。
- 论文arXiv
TrojanWorld：通过想象引导对世界模型智能体植入后门
研究者提出 TrojanWorld，一种针对世界模型智能体的供应链后门框架，通过引导模型内部想象而非改动决策模块来诱发攻击者指定的行为。攻击以场景中放置的物理物体作为触发器，经智能体原生观测管线激活，无需数字篡改观测流。框架由三项机制组成：Decision-Reflective Induction 利用决策反馈将触发条件下的想象导向目标动作，Clean Behavior Anchoring 保持无触发时的预测与行为保真度，Causal Propagation 在触发器消失后沿后续轨迹延续被诱导的偏好。研究还测试了 Fine-Pruning、SHINE 和 Neural Cleanse 三种防御的适配版本，没有一种能在保持干净效用的同时完全移除攻击。
- 论文arXiv：Agent 与 MCP 安全
PentestChain：面向免费层 LLM 的成本感知 MCP 编排自动化渗透测试框架
PentestChain 是一个十阶段自动化渗透测试框架，通过成本感知的 AI 级联（本地 Ollama qwen2.5-7b 优先，其次免费层 OpenRouter 与 Cerebras，并带规则回退）在零付费 API 成本下实现端到端运行，并以 MCP 服务器暴露 11 个工具。该框架基于 2025 年 MCP 事件记录（mcp-remote 的 CVE-2025-6514 远程代码执行漏洞、postmark-mcp 供应链后门及工具投毒类攻击）建立四位置威胁模型并提出四项缓解措施。
- 论文arXiv：Agent 与 MCP 安全
研究刻画远程 MCP 生态的网络集中度与可观测性
论文提出三层可观测性框架，对公共 MCP 服务器生态进行实证刻画，覆盖目录元数据、被动合规信号与实时漏洞分析三个层级。作者对两个公共注册表中分层抽样的 179 个远程端点进行评估，发现基础设施高度集中：按 ASN 分布计算的 HHI 为 0.736，远高于 0.25 的高度集中市场阈值。分析还显示服务器认证与托管平台选择强相关，而非取决于单个运营者配置，95% 的商业 PaaS 托管服务器在网关层强制启用带 PKCE 的 OAuth 2.1。研究指出当前生态存在安全与可观测性的权衡：保护多数服务器的平台级认证机制同时限制了自动化漏洞扫描能力，使 AI 网关运营者在不预先提供凭证的情况下难以评估工具投毒向量。
- 论文arXiv：Agent 与 MCP 安全
当智能体信任跨越组织边界：结构外化与信任证据参考模型
论文提出 Trustworthiness as a Service（TaaS），用于解决智能体跨组织边界调用工具、服务与其他智能体时，依赖方无法仅凭生产域控制与记录评估被委托动作的问题。其分析单元为跨域依赖命题，通过三条件结构外化诊断识别需多域依赖、生产方独立验证且须在撤销、失败、记录冲突或争议后仍可复核的命题，并为此设计不可变工作流清单与仅追加、发行方可归属的信任证据信封。论文还给出拓扑中立的逻辑参考模型，并以三个分析场景和 TaaS-Eval 协议提案定义清单、独立消费者、硬门控、对抗性证据测试与指标。
- 论文arXiv：Agent 与 MCP 安全
论文提出持久计费状态概念，揭示工具调用 LLM Agent 的拒绝钱包攻击与防御
中科院信息工程研究所等机构的研究者提出持久计费状态概念，指工具调用 LLM Agent 的运行时把外部工具返回内容带入后续模型输入后，提供方会对其重复计费，被接纳的恶意或被攻陷工具因此可在没有受害者凭证和本地运行时权限的情况下，把不可信数据转化为持续由受害者付费的处理。作者把主机对这类内容是否以及如何进入后续计费上下文的决策形式化为持久计费状态边界，并称这是对该准入后生命周期的首个系统性安全研究。研究推导出六种拒绝钱包攻击向量，构建端到端测试框架 DOW-BENCH，在六个模型家族上完成 243 次执行，用量遥测显示单会话累计输入最高达到该会话首次调用输入的 14,293 倍。
- 论文arXiv：Agent 与 MCP 安全
基于区块链的 Agentic AI 框架：面向安全软件供应链的资源优化与能耗感知
该论文提出一个区块链支撑的 Agentic 安全框架，用于保护完整软件开发生命周期并保障负责监控的 AI 智能体本身。框架协调源码完整性、依赖与 SBOM 分析、CI 配置审计、制品验证和运行时策略评估等专用安全智能体，每个智能体由 LLM 驱动生成结构化安全报告，并通过智能合约将加密签名的证明记录到许可链的智能体注册表、不可篡改证明日志和可执行发布策略模块中。智能体与区块链节点间通信由联盟运营的证书颁发机构保障，用例演示了源码安全智能体如何上链证明并触发可验证的允许/阻止部署决策。
- 论文arXiv：越狱、提示注入、投毒与防御
OllamaDrama：用蜜罐测量暴露 LLM 基础设施遭受的攻击
研究者设计并部署了 Ollure 蜜罐，模拟 Ollama API 但不接入后端 LLM，在云和大学网络共四处部署运行 84 天，记录到来自 2,793 个独立源 IP 的 290,887 次交互。多数活动是自动化发现、指纹识别和模型枚举，但也出现了针对基础设施层和 LLM 层的实际利用尝试，包括模型管理滥用、路径遍历与 SSRF 探测、RCE 和加密货币挖矿载荷、资源耗尽尝试、提示注入、信息提取以及面向 Agent 的工具调用。论文称这些结果提供了暴露的自托管 LLM 服务在真实世界所受威胁的经验性观察。