跳到正文
10月9日 · 周五

全部论文

找到 15 篇
筛选3

攻击类型

越狱3提示注入5投毒与后门2

模型自身风险

欺骗与谋划3奖励作弊1Agent 危险操作2拒答失当1幻觉与编造1

防御类型

模型加固36推理时干预14检测与过滤23指令与数据隔离5权限与审批5监控与审计15水印与溯源2

影响

有害内容3越权操作4数据与隐私泄露1监督失效6

系统形态

模型与 API5LLM 应用1AI Agent10编程 Agent4网页与电脑操作2

攻击者权限

黑盒1

攻击面/入口

用户输入4网页与界面1文档与消息4工具返回4分发渠道2

层

模型层5应用层10

系统组件

MCP 与技能2护栏与评审1监控器14推理链1

被测模型厂商

Qwen（阿里）18OpenAI16Meta15Anthropic13Google11DeepSeek9Mistral7Kimi（月之暗面）5NVIDIA0其他18
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 669 篇还没打标签，不在筛选结果里。
防御类型：监控与审计被测模型厂商：NVIDIA被测模型厂商：Meta清除全部

另有 669 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 评测与基准arXiv 2610.04575

    论文提出 Operational Validity Contract，审计激活监控从探针分数到告警策略的有效性

    提出操作有效性契约，审计激活监控的告警策略

    arXiv
    2610.04575
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    Llama-3.2-3B、Qwen2.5-7B-Instruct、Qwen2.5-7B 等 4 个
    摘要论文建立从探针得分到警报策略的审计框架，实证表明高 AUROC 不等于部署有效性，仅支持受限预测价值。

    这篇论文系统评估了大模型智能体激活监控器从离线探针得分向在线警报策略跨越时的统计与操作有效性。

    深度解读完整解读
  2. 防御arXiv 2605.17380

    Uber 提出 ADR 企业级 Agent 检测系统，在 7200 台主机部署十个月

    提出企业级检测系统 ADR，检测编程 Agent 的提示注入与恶意 MCP

    arXiv
    2605.17380
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Llama Guard 3-8B、GPT-4o、Claude Sonnet 4 等 4 个

    摘要提出了端点因果遥测、两级在线分流与离线红队闭环的 ADR 系统，并在生产环境中验证了有效性。

    深度解读完整解读
  3. 防御arXiv 2610.03055

    HackTrace：用生成状态监督检测代码生成中的奖励作弊

    提出 HACKTRACE，用生成期激活检测代码智能体的奖励作弊

    arXiv
    2610.03055
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Llama-3.1-8B-Instruct、Qwen3-8B、Qwen3.5-4B 等 4 个

    摘要论文提出利用生成状态监督作弊尝试的 HACKTRACE 框架，实现高精度低延迟检测并在 GRPO 训练中有效抑制奖励投机。

    深度解读完整解读
  4. 防御arXiv 2608.25460

    用强化学习训练对齐审计员：成对奖励加校准让 Haiku 4.5 追平 Opus 4.6

    用成对比较奖励与假阳性校准训练对齐审计模型

    arXiv
    2608.25460
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Llama 3.3 70B、Claude Haiku 4.5、Claude Opus 4.6 等 15 个

    摘要系统总结了强化学习训练对齐审计器的核心问题、成对奖励与校准方法及主要结果。

    深度解读完整解读
  6. 防御arXiv 2608.30703

    SingProbe 发布开源内在护栏框架，适配 29 个开源模型

    提出内生护栏 SingProbe，复用解码隐状态监测查询意图、回复安全与幻觉

    arXiv
    2608.30703
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Llama Guard 3、Ling-3.0-tiny-singprobe、Ling-3.0-flash-singprobe 等 14 个
    摘要SingProbe 用轻量内生探针做生成时三类监测，并给出流式基准与低开销服务接入。

    SingProbe 是面向生成时监测的开源内生护栏：复用基座解码隐状态，而不是另起模型反复编码文本。

    深度解读完整解读
  7. 分析与理论arXiv 2609.37312

    研究：隐蔽推理必然留下信息痕迹，但思维链未必可读

    分析隐蔽推理在思维链监控下的信息足迹下界与不可读性

    arXiv
    2609.37312
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Llama-3.1-8B-Instruct、Qwen2.5-7B-Instruct、Qwen 3.5 397B-A17B 等 12 个

    摘要论文从理论与实证探明了思维链监控的边界：复杂隐蔽计算必然泄露信息足迹且需承担长度税，但该足迹可被在线加密而不可读。

    深度解读完整解读
  12. 分析与理论arXiv 2609.07162

    论文：LLM 安全监控的监督缺口并非能力问题

    界定单迹监控对 2-safety 超性质的可检测前沿与监督缺口

    arXiv
    2609.07162
    发表
    层
    应用层
    场景
    LLM 应用、AI Agent
    测试
    Llama-3.1-8B、Llama-3.3-70B、Mistral-24B 等 9 个
    摘要单迹监督的上界由 TV 决定。

    论文测量单迹安全监控相对 2-safety 超性质能看见多少：跨租户泄漏、觉察到被评估、策略性表现不佳都由两次执行之差定义，一条轨迹装不下判定。

    深度解读完整解读
  13. 防御arXiv 2609.21996

    PIR：从模型内部激活读出被隐藏的答案

    提出免参考探测 PIR，从激活读出被隐瞒答案并区分擦除

    arXiv
    2609.21996
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Llama-3.1-8B、gemma-2-9b、gemma-3-12b 等 9 个

    摘要论文提出免参考内部识别探测 PIR，划分了隐瞒与遗忘的边界，为评估沙盒审计与遗忘真实性提供了内部依据。

    深度解读完整解读
  15. 评测与基准arXiv 2609.28915

    研究提出 ACE 语料库，评估内核级证据对 Agent 安全检测的有效性

    构建 ACE 语料并比较内核与应用层证据的攻击检测效果

    arXiv
    2609.28915
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Llama-3.1-8B、AdaBoost、XGBoost 等 13 个
    摘要ACE 用配对的内核与应用层证据表明，syscall 痕迹可判别智能体攻击，两层组合通常更好。

    ACE 是一份把智能体会话的内核 syscall 痕迹与应用层清单、转录配对起来的检测语料和基准。。

    深度解读完整解读
已经到底了