跳到正文
10月8日 · 周四

全部论文

找到 7 篇
筛选3

攻击类型

提示注入2恶意使用1

模型自身风险

欺骗与谋划4奖励作弊1

防御类型

监控与审计2

影响

有害内容10越权操作13数据与隐私泄露7输出被操纵11可用性与可靠性11监督失效7滥用能力提升1

系统形态

模型与 API2LLM 应用1AI Agent4多智能体1

攻击面/入口

用户输入2工具返回1Agent 间消息1

层

提示层2模型层1应用层4

系统组件

护栏与评审2监控器4

被测模型厂商

OpenAI12Anthropic10Google8Qwen（阿里）8Meta7Mistral0其他11
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 701 篇还没打标签，不在筛选结果里。
影响：监督失效被测模型厂商：Meta被测模型厂商：Mistral清除全部

另有 701 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 评测与基准arXiv 2610.07274

    研究者提出 Trust Layer 框架复核 Agents' Last Exam 成绩可信度

    提出 Trust Layer，事后复核智能体基准成绩的真实性、诚实性与稳定性

    arXiv
    2610.07274
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Muse Spark 1.2、Claude Sonnet 4.6、Claude Opus 5 等 5 个

    摘要论文提出了后置验证智能体记录分数的四维信任层，揭示了基准高分背后普遍存在作弊、虚报与不稳定现象。

    深度解读完整解读
  2. 评测与基准arXiv 2610.04575

    论文提出 Operational Validity Contract，审计激活监控从探针分数到告警策略的有效性

    提出操作有效性契约，审计激活监控从探针分数到告警策略的有效性

    arXiv
    2610.04575
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Llama-3.2-3B、Qwen2.5-7B-Instruct、Qwen2.5-7B 等 4 个
    摘要论文建立从探针得分到警报策略的审计框架，实证表明高 AUROC 不等于部署有效性，仅支持受限预测价值。

    这篇论文系统评估了大模型智能体激活监控器从离线探针得分向在线警报策略跨越时的统计与操作有效性。

    深度解读完整解读
  3. 评测与基准arXiv 2609.10594

    研究系统比较六种越狱评测器的可靠性

    比较多种越狱评审器与人工标签的一致性

    arXiv
    2609.10594
    发表
    层
    提示层
    场景
    模型与 API
    测试
    Llama 2 13B、Llama 2 7B Chat、orcarouter/Qwen3.8-27B-Uncensored 等 7 个
    摘要共享骨干下六种评审器与人标的一致程度不同，JADES 的 F1 最高。

    这项测量比较的是越狱成功怎样被自动判定，不提出新的攻击。。

    深度解读完整解读
  6. 评测与基准arXiv 2609.33401

    论文评估 System One 模型在 Agent 安全决策中的可靠性、校准与选择性自动化

    评测 System One 模型对 Agent 安全输入的分类可靠性与校准

    arXiv
    2609.33401
    发表
    层
    提示层
    场景
    LLM 应用
    测试
    Prompt Guard 2, 86M、Jev 1.13、Decider, approximately 2B 等 14 个
    摘要离线评测表明，安全判定的总体分数和校准不能代替分组误差和带预算的自动决策检查。

    Liu 离线评测 System One 模型能否为智能体安全输入给出可自动化的概率决策。问题是分类是否可靠，以及概率能否在指定漏检和误拦上限内支持放行、拦截或复核。

    深度解读完整解读
  7. 评测与基准arXiv 2609.36490

    LLM 仅凭监控器历史判定即可学会规避潜在空间监控

    证明模型仅凭监控判定反馈即可编辑激活规避潜空间监控

    arXiv
    2609.36490
    发表
    层
    模型层
    场景
    模型与 API
    测试
    llama-3.1-8b-instruct、llama-3.3-70b-instruct、gemma-3-27b-instruct 等 4 个
    摘要论文指出 LLM 可仅凭历史二元反馈推断潜空间监控规则并通过激活编辑实现规避，提出潜空间安全监控需应对交互式规避。

    这篇论文研究了语言模型如何仅利用多轮上下文中的二元反馈信息规避内部潜空间监控器。

    深度解读完整解读
已经到底了