全部动态
从来源，看到研究的联系
点选节点，展开一条线索
本页材料
完整标题与摘要 · 24 条- 论文arXiv：越狱、提示注入、投毒与防御
Aletheia：面向编码 Agent 规则的权限最小化测试框架
Aletheia 是一个针对编码 Agent 仓库指令文件的权限最小化测试框架，用于发现恶意规则在生成正确补丁的同时索取凭据访问或数据传输权限。它把规则请求的权限翻译为带类型语言并合成可执行沙箱配置，在完整权限和逐项移除权限的独立限制下运行同一条未修改的规则与任务；若在严格削减权限后仍通过功能测试，就得到该权限可被舍弃的见证，再结合任务上下文诊断可疑请求。作者形式化了配置合成及见证与强制限制之间的条件。在共享重构任务上，Aletheia 执行并检出全部 314 条 AIShellJack 攻击输入，对五个良性模板无误报；在 80 条人工核验的良性 GHAgentFiles 规则中产生 3 个误报（3.75%）。
- 论文arXiv：越狱、提示注入、投毒与防御
ContractWarden：用人类授权契约在内核层为 AI Agent 划定损害边界
ContractWarden 是一个 Linux 参考监视器，通过人类授权的契约在内核层为 AI Agent 划定损害边界，不信任 Agent 本身或其策略建议。模型可以提出 allow、deny 或 no_egress 三态资产契约，但由人类做最终选择；执行门在不可信代码运行前把契约绑定到具体任务，再由基于 eBPF 的 LSM 数据平面执行文件与网络决策，并将 no_egress 沿进程、普通文件、管道、FIFO 和受支持的 Unix-domain socket 单调传播。在 19 项安全测试的 570 次运行中，全部满足预设的返回值与副作用标准。在三项同机文件 I/O 负载上，Linux 6.15 虚拟机中的中位开销为 11.96%–12.89%，物理平台为 35.79%–61.54%，低于所评估的冻结版 ActPlane 基线。
- 动态Pillar Security
Pillar Security 披露 Unsloth Studio 任意代码执行漏洞，2026.6.9 已修复
Pillar Security 在 Unsloth Studio 中发现任意代码执行漏洞：用户在界面中选择模型时，后端会下载并运行该模型 HuggingFace 仓库中的 Python 代码，仅读取 config.json 即可触发，无需加载权重或推理。缺陷位于 studio/backend/utils/models/model_config.py，load_model_config 的 trust_remote_code 默认值为 True，能力探测路径未覆盖该值，且 transformers-5 子进程分支硬编码为 True，用户自身的 trust_remote_code 设置（默认 False）从未被查询。
- 论文arXiv
S³：用多阶段防御提升 LLM 智能体安全
论文提出 Stage-Specific Safety Skills 抽象，把异构安全设计表示为带明确阶段语义的可复用、可组合组件，并给出自动化转换流程和社区驱动的安全技能库。在此基础上提出 S³ 多阶段防御框架，由 guard agent 编排各阶段安全技能，在智能体工作流的记忆、规划、工具执行等环节做风险检测与缓解。作者同时构建 Multi-Stage Risk Benchmark（MSRB）评估各阶段代表性风险，实验显示 S³ 在安全有效性和效用保持上均优于代表性 SOTA 基线。论文认为阶段特定安全技能可作为构建韧性智能体系统的可扩展、可组合基础。
- 论文arXiv
通过采样 BPE token 统计审计中文网页规模语料库
Sampled-BPE 是一种轻量级 token 级审计流程，通过采样小规模子集并训练 BPE 分词器来暴露受污染 token，在污染类别上仅引入 4.25% 相对误差的同时实现 148.4 倍加速和 35.8 倍内存降低。研究将其应用于 11 个开源中文语料库和 2021 至 2026 年的 6 个中文 Common Crawl 快照，发现开源语料库中污染普遍存在但不均衡，中文网页内容污染严重且随时间变化。团队还发布了包含 66 万余条 token 记录的分层中文网页 token 数据集，每条记录带有网页上下文、类别和解释字段，并以树状结构组织以支持污染审查与溯源。
- 论文arXiv
AdaGuard：支持用户自定义策略的自适应护栏模型
作者提出 AdaGuard，一组 0.6B、4B 和 8B 的护栏模型，可在推理时按用户提供的策略评估 Agent 轨迹是否违规。为支持这一能力，作者构建 AdaptiveSafety 数据集，包含 10,939 条训练样本和 1,000 条测试样本，覆盖 1 至 100 条规则的策略，并结合策略与行为反事实，为每条样本配解释和完整违规规则集合。训练方法 SafePO 是一种强化学习算法，用结构化奖励评估预测正确性，在响应层面保留组相对优势，并用单独训练的价值模型调节解释与判定区域的 token 权重。4B 模型在 AdaptiveSafety 上二分类准确率为 89.30%，在 DynaBench 上为 71.82%。
- 论文arXiv
SyzHarness：用 LLM 合成模糊测试 harness 复现 Linux 内核补丁漏洞
SyzHarness 结合 LLM 推理与覆盖率引导模糊测试，从补丁出发复现 Linux 内核漏洞：LLM 智能体借助代码导航工具合成参数化 fuzzing harness，固定前置设置逻辑，只把不确定的 bug 关键输入参数交给 Syzkaller 变异，再通过分层可达性反馈迭代优化。在 100 个 KernelCTF 案例上复现成功率达 78%，在 SyzDirect 基准上达 73%，明显优于此前的定向灰盒模糊测试；对 2026 年 3 月后修复的 50 个 syzbot 已知可触发 bug，仅凭修复提交即复现 40/50（80%）。
- 论文arXiv
Harbor Adapters 与 Harbor-Index：面向大规模 Agent 评测的基础设施与精选元数据集
论文提出 Harbor Adapters，一套面向 Agent 基准的统一评测基础设施，并发布精选元数据集 Harbor-Index。作者开发基准适配器，将 80 余个基准接入以评测任意 Agent，并通过严格代码审查与一致性实验验证。团队在 54 个基准上对 8 个不同能力层级的模型做了大规模评测，每个模型分别用 Terminus-2 和 3 种原生 harness 之一运行。
- 论文arXiv
VStress：面向重复验证器的相关性感知审计与自适应预算分配
VStress 是一套可审计的重放契约，其 VStress-CA 策略在密封校准集上估计未查询验证器的条件边际信息，按调用成本归一化，并在下一次调用无信息量时停止或弃权。在 35% 对称污染下，majority-5 将平衡准确率从 0.6578 提升至 0.7739，而在 65% 污染下反而损失 0.1226 点。匹配固定预算对比中，广度、冗余与自适应分配分别取得 0.6048、0.6375 和 0.6538 的平衡准确率，VStress-CA 每项调用 3.4216 次，RLVR 得分为 0.6417。
- 论文arXiv
HazardAuditor：面向计算机使用 Agent 的执行级安全护栏框架
HazardAuditor 是一个执行级安全框架，用于为计算机使用 Agent 提供护栏监督。现有护栏模型面向静态提示词与回复，难以适配 Agent 执行过程；现有可执行安全平台只产出评测结论，无法提供跨框架训练所需的归一化监督。该框架在受控环境中运行 Claude Code、Codex、Hermes 和 OpenClaw 等异构 Agent，把交互归一化为统一事件表示以支持跨框架监督。作者指出 token 级后训练目标会让较长的理由文本主导梯度更新，并提出 Guard Policy Optimization（GuardPO），将确定性安全结果转为序列级优势并归一化理由与判定区域，使安全决策成为优化单元。
- 论文arXiv：危险能力与安全评测
安全强化学习评测指标：SafeRLEval 开源评测套件
安全强化学习现有基准多以平均安全性报告结果，无法反映安全边界被违反的频率与严重程度、跨任务与跨安全边界的一致性，以及训练期行为能否代表最终收敛策略。为此研究者提出一组安全 RL 评测指标与安全分级（safety tier）体系，并在多个安全导航任务上开展实证评测，结果显示聚合指标、分布化报告和任务/安全边界特定结果各自揭示其他指标无法提供的信息，建议三者联合报告而非压缩为单一数值。团队同时开源了评测套件 SafeRLEval。
- 论文arXiv：危险能力与安全评测
Djinnlang：用 LLM 编译器实现无歧义规格的高级编程
Djinnlang 是一种只写规格、不写可执行代码的高级规格语言，由 LLM 在编译器内填充实现与证明。它要求 LLM 除证明实现满足规格外，还须证明满足该规格的任意其他实现在相同输入下输出相同，即约束关系是确定性的，从而不给程序语义留任何余地。其符号翻译器将规格降为 Dafny 桩与证明义务，由驱动框架调度 LLM 补全，全部经 Dafny 验证器检查；该语言已实现自举，LLM 可依规格实现 Djinnlang 翻译器且重实现能自验证。
- 论文arXiv：Agent 与 MCP 安全
Agent Incident Registry 发布 487 条 AI Agent 事件记录
研究者发布 Agent Incident Registry（AIR），一个带来源链接的 AI Agent 事件目录，收录 2022 至 2026 年披露的 487 条记录，每条包含支撑证据、稳定标识符，以及因果角色、披露类别、机制和结果等标注。在 336 条智能体实际行动的生成式系统记录中，81 条涉及已实现伤害，占 24%；已实现结果集中在真实环境与安全失败记录中，而负责任披露和研究演示多为演示性质，因此总体比例反映的是收录构成而非部署风险。初步整理后由第二位人工审核者复核全部 487 条记录及其标签。
- 论文arXiv：Agent 与 MCP 安全
面向企业智能体持续部署的 Agentic Company OS：认知基座反转
一篇立场论文提出，企业 AI 智能体演示成功却难以长期运行，根源在于其推理所依赖的数据是为人类操作者而非语言模型组织的。作者主张围绕匹配推理界面的表示重建"认知基座"，将 schema 转换隔离到动作边界，并以 Markdown 作为当下可用的实例。论文提出 Data、Knowledge、Intelligence、Governance 四层框架，由 Sync Agent 执行动作边界与逐技能信任梯度，并分析了编译路径上的间接提示注入等风险。
- 论文arXiv：Agent 与 MCP 安全
论文：工具调用成功但工作流失败，智能体与工具边界的八类异常
论文提出效应历史模型，把外部世界发生的事件与运行时对事件的观察区分开，并归纳出八类反复出现的外部效应异常。在重试、推测执行、并发和部分失败下，必需效应可能缺失或重复、已中止的效应可能残留、已提交的效应可能依赖随后被撤回的临时状态。作者据此推导出排除每类异常所需的边界能力，并指出仅靠黑盒工具调用无法提供通用保证的四个位置。随后作者测量了已注册 MCP 服务器暴露的 98291 个工具对标准注解词汇的使用情况，发现这些字段被广泛输出，但只提供粗粒度的调用级提示，所需能力无一能被完整表达，因此提出在工具边界引入可复用的交易契约。
- 论文arXiv：Agent 与 MCP 安全
EvoOntology：面向数据智能体的自演化本体层
EvoOntology 将本体封装为包含 schema、内容与工具三层的 MCP server，让数据智能体在运行时主动查询本体，以弥合异构数据与智能体之间的 agent-data gap。系统引入 builder agent 自主构建本体，并通过归因引导的类型化编辑与骨干条件配对评估驱动的自演化循环持续精炼本体。在三个数据智能体基准和四个 LLM 骨干上，EvoOntology 一致优于强基线及现有语义层方法。
- 论文arXiv：Agent 与 MCP 安全
DriveMCP：面向高级驾驶辅助系统的智能体 AI 框架
DriveMCP 是一个面向高级驾驶辅助系统的智能体 AI 框架，将感知、合规推理、车辆状态解读与安全仲裁整合为模块化、可审计的流水线。它以 DriveLM 作为视觉语言前端生成图结构场景理解，并通过 MCP 服务器协调规则、天气与 CAN/OBD 遥测三类专家，输出经 RSS 式护栏仲裁的决策。在 CARLA 的多语言、跨境与动态限速场景中，DriveMCP 相比 VLM-Direct、VLM-Direct+RAG 和 VLM-Tools-NoArbiter 基线减少了交通违规与超速，改善了危险响应时间，并保持亚秒级建议延迟。
- 论文arXiv：Agent 与 MCP 安全
PentestChain：面向免费层 LLM 的成本感知 MCP 编排自动化渗透测试框架
PentestChain 是一个十阶段自动化渗透测试框架，通过成本感知的 AI 级联（本地 Ollama qwen2.5-7b 优先，其次免费层 OpenRouter 与 Cerebras，并带规则回退）在零付费 API 成本下实现端到端运行，并以 MCP 服务器暴露 11 个工具。该框架基于 2025 年 MCP 事件记录（mcp-remote 的 CVE-2025-6514 远程代码执行漏洞、postmark-mcp 供应链后门及工具投毒类攻击）建立四位置威胁模型并提出四项缓解措施。
- 论文arXiv：Agent 与 MCP 安全
基于区块链的 Agentic AI 框架：面向安全软件供应链的资源优化与能耗感知
该论文提出一个区块链支撑的 Agentic 安全框架，用于保护完整软件开发生命周期并保障负责监控的 AI 智能体本身。框架协调源码完整性、依赖与 SBOM 分析、CI 配置审计、制品验证和运行时策略评估等专用安全智能体，每个智能体由 LLM 驱动生成结构化安全报告，并通过智能合约将加密签名的证明记录到许可链的智能体注册表、不可篡改证明日志和可执行发布策略模块中。智能体与区块链节点间通信由联盟运营的证书颁发机构保障，用例演示了源码安全智能体如何上链证明并触发可验证的允许/阻止部署决策。
- 论文arXiv：Agent 与 MCP 安全
HTN 规划作为多服务器 MCP 工具编排的协调层
针对 MCP 仅允许 host 编排跨服务器工作流、由 LLM 编排时结果不确定且每次工具调用需一次推理往返的问题，研究者提出一种协调架构：由 HTN 规划器一次性生成可验证的跨服务器计划，再由运行时中间件在多个 MCP 服务器上确定性执行，并通过 ${context.X} 模板机制在执行时绑定跨动作数据依赖。该架构在实验室机器人、生物信息学和多尺度建模五个 HTN 域上实例化，从浏览器端计划控制器对八个在线第三方 MCP 服务器完成端到端执行。
- 论文arXiv：越狱、提示注入、投毒与防御
研究审计 Agent 安全评测缺陷：工具调用中介在间接提示注入下的有效评测框架
作者审计了一个针对工具调用型 LLM Agent 的间接提示注入（IPI）基准及其评测装置，归纳出四类缺陷：载荷静默未投递、按工具身份而非参数判定攻击成功、把误拒率与模型能力不足混为一谈、缺少审计轨迹。用同一批执行轨迹重新打分后，按工具身份判定的评分器报告 21.7% 攻击成功率，而按参数判定的真实值为 1.2%，虚高约十八倍；审计套件中 43 个攻击载荷有 39 个（91%）从未投递。修正后，此前报告攻击成功率 62.8% 的 llama3.1:8b 降至 0%（43 次攻击中 0 次得手），该模型在 41 次攻击中读到了注入内容、72% 的攻击场景完成了良性部分，但均未执行恶意指令；此前归因于 gemma4:12b 的“工具绑定障碍”也被证明是环境不匹配造成的假象。
- 论文arXiv：越狱、提示注入、投毒与防御
Agentic Commerce Bench：衡量会花钱的智能体的欺诈检测能力
论文提出用于衡量和降低智能体支付欺诈损失的三项成果。第一是智能体商务欺诈分类体系，把智能体推理、wire、结算通道、交易对手、委托人五个观测层级与请求级、历史级证据对应起来，记录各层级能观测到哪些攻击。第二是 Agentic Commerce Bench（ACB）基准，包含由生产数据聚合生成的二十类欺诈，涉及 1,647 个编目服务操作和 1,068 笔结算，其中六类的交易对手身份完全真实。第三是开源检测器栈 gordonguard 及离线 harness，可用于审计智能体配置、在无账号情况下重放恶意交易对手，并以内联方式运行同一批检测器。
- 论文arXiv：越狱、提示注入、投毒与防御
ORBIT：基于 UK AISI Inspect 的多智能体安全评测框架
作者提出 ORBIT，一个基于 UK AISI Inspect 构建的可配置多智能体安全与安全评测框架，用于在真实多智能体环境中联合变化攻击、防御与架构。框架允许配置通信拓扑、记忆、调度和智能体角色，支持四类威胁、四种防御策略以及非对抗性失败，基准套件覆盖浏览器使用、计算机使用、智能体编码、客服和协作分配五个场景族。核心发现是防御在不同威胁间不可迁移：在多议题编码任务中把被攻陷智能体的攻击成功率降低 60 个百分点的逐动作防御，对相互串通的智能体没有可测量的保护，且所测试的防御没有一个能泛化到全部攻击。作者还展示了安全与性能的权衡以及架构与防御效果之间的相互作用，并将 ORBIT 开源。
- 论文arXiv：对齐、欺骗与监督
AutoMark：让自动研究流程自主发现更优 LLM 水印方案
AutoMark 提出一套让自动研究流程自主发现无失真水印方案的框架，作者称这是首次实现水印方案的自主发现。框架包含三部分：设定水印可靠性的严格标准（例如避免异常高的假阳性率）、用统计检验自动判断方案是否满足标准，以及从可检测性、质量和鲁棒性三个维度对水印排序的评测套件。在 GPT-6 Astra、Opus 5、Gemini-3.8 Flash 三个前沿模型上运行后，共发现 50 多种水印方案，其中若干在所有关键维度上超过此前工作。作者还对发现的方案做人工分析，把关键思路拆解为更小组件并逐一研究各组件对三个维度的影响，并指出智能体除改进已有思路外也发现了全新思路，例如将水印分数与随请求变化的随机方向对齐。