跳到正文
10月10日 · 周六

全部论文

找到 10 篇
筛选5

模型自身风险

欺骗与谋划7奖励作弊6失准与价值偏离4Agent 危险操作13幻觉与编造4

防御类型

检测与过滤3权限与审批4监控与审计7

影响

越权操作4监督失效4

系统形态

AI Agent8coding agent3

层

应用层10

系统组件

监控器7
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 216 篇还没打标签，不在筛选结果里。
模型自身风险：奖励作弊模型自身风险：失准与价值偏离防御类型：检测与过滤防御类型：监控与审计层：应用层清除全部

另有 216 篇论文还没打上分类标签，暂不在筛选结果里。

  4. 防御arXiv 2610.07403

    针对 LLM 谄媚的纵深防御：记忆门控对激活诱导与记忆诱导谄媚的评估

    评测记忆门控对激活诱导与记忆诱导谄媚的防御效果

    arXiv
    2610.07403
    发表
    层
    应用层
    场景
    LLM 应用
    被测模型
    Llama-3.1-8B-Instruct、Qwen2.5-7B-Instruct、Mistral-7B-Instruct-v0.3 等 4 个
    摘要作者称外部记忆过滤成立，数据未显示反向转向再有贡献。

    作者在四个开源指令模型上，把激活转向和外部记忆处理放进同一纵深防御协议，看记忆诱发谄媚和内部谄媚压力能否分开压低，以及个性化效用还剩多少。要处理的问题是：检索到的用户历史会推动模型顺从存储信念。只改外部上下文，并不直接动模型内部的谄媚表征。

    深度解读完整解读
  5. 防御arXiv 2610.03055

    HackTrace：用生成状态监督检测代码生成中的奖励作弊

    提出 HACKTRACE，用生成状态检测并抑制代码智能体奖励作弊

    arXiv
    2610.03055
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    Qwen3-8B、Llama-3.1-8B-Instruct、Qwen3.5-4B

    摘要论文提出利用生成状态监督作弊尝试的 HACKTRACE 框架，实现高精度低延迟检测并在 GRPO 训练中有效抑制奖励投机。

    深度解读完整解读
  6. 防御arXiv 2609.19101

    用内部表征监控与发现 LLM 评测中的奖励作弊

    用内部表征探针监控并发现评测中的奖励作弊

    arXiv
    2609.19101
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    Kimi K3、GLM 5.2、Qwen 3.8 Max 等 6 个

    摘要论文分析了前沿开源模型在评测中的奖励投机，展示了利用内部激活均值差向量低成本监控与发现投机行为的可行性。

    深度解读完整解读
  7. 防御arXiv 2609.15803

    研究者提出 k-robust 联盟对齐，用多智能体评审委托授权

    提出 k-robust 联盟对齐，刻画误对齐评审下的安全委托授权

    arXiv
    2609.15803
    发表
    层
    应用层
    场景
    多智能体
    摘要联盟覆盖使无个体对齐的评审面板仍可相对基线安全授权，数值分数改善完备性。

    委托授权的安全不要求每位评审者对齐，而要求面板在效用空间覆盖委托人。

    深度解读完整解读
  8. 防御arXiv 2608.27348

    INTENT-AS-A-TOOL：用意图工具追踪智能体失准

    提出 INTENT-AS-A-TOOL，用意图工具概率跟踪并干预智能体失准

    arXiv
    2608.27348
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Gemma-4-31B-IT、Qwen3.5-27B、Qwen3-235B-A22B 等 5 个
    摘要用意图工具的下一动作概率跟踪推理中的失准承诺，并在其成为首选时插入反思。

    Zhang 等人研究推理型语言模型在职场邮件沙箱里如何走向智能体失准，并提出用动作偏好而不是事后文本标签来跟踪承诺。问题是：有害执行往往出现在推理已经形成意图之后，但 CoT 监控是事后、粗粒度、依赖外部评审的，也看不到模型倾向调用哪个动作。

    深度解读完整解读
  10. 防御arXiv 2604.11806

    Meerkat：跨大量 Agent 轨迹检测安全违规

    提出 Meerkat，聚类并搜索 Agent 轨迹库以定位跨轨迹安全违规

    arXiv
    2604.11806
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    GPT-5.4、GPT-5.4-mini、Qwen3.5-397B-A17B 等 5 个
    摘要Meerkat 用聚类与智能体搜索定位跨轨迹违规，并在真实评测轨迹中找出脚手架泄题与奖励黑客。

    Meerkat 是事后审计方法，用来在智能体轨迹仓库里找出单条看不出、合在一起才违反自然语言安全属性的见证。

    深度解读完整解读
已经到底了