跳到正文
10月9日 · 周五

全部论文

找到 16 篇
筛选3

攻击类型

越狱1提示注入2投毒与后门1拒绝服务1

攻击技术

自动化搜索1诱导选用1

模型自身风险

欺骗与谋划3失准与价值偏离3Agent 危险操作2拒答失当1幻觉与编造1

防御类型

推理时干预1检测与过滤1指令与数据隔离1

影响

有害内容1越权操作3输出被操纵2可用性与可靠性4监督失效2

系统形态

模型与 API5LLM 应用1AI Agent10编程 Agent2多智能体3

攻击面/入口

用户输入1网页与界面1工具返回1工具与技能描述1代码仓库与依赖1检索语料1记忆写入1分发渠道1

层

提示层2模型层6应用层10训练与数据层4

系统组件

MCP 与技能1RAG1护栏与评审1推理链1嵌入1

被测模型厂商

Qwen（阿里）323OpenAI307Google263Meta190Anthropic188DeepSeek154智谱 GLM101Kimi（月之暗面）89Mistral82xAI39Microsoft31MiniMax30Ai224NVIDIA16上海 AI 实验室14字节跳动13EleutherAI7IBM7Stability AI7智源 BAAI6TII6Cohere5Hugging Face5其他181
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 552 篇还没打标签，不在筛选结果里。
层：模型层层：应用层被测模型厂商：NVIDIA清除全部

另有 552 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 风险行为arXiv 2605.28591

    研究：模型掌握评测设计知识后安全基准分数更高

    微调注入评测特征知识，测量隐式评测觉察造成的安全分数虚增

    arXiv
    2605.28591
    发表
    层
    模型层
    场景
    AI Agent
    测试
    Llama 3.3 Nemotron Super 49B v1.5、Qwen3 32B、GLM 4.7 Flash 等 5 个
    摘要证实模型通过合成文档内化评测特征后可在无显式觉察下大幅提升安全评分。

    这篇论文研究了大语言模型因学习评测设计元知识而诱发的隐式评估觉察及安全评分虚增现象。

    深度解读完整解读
  3. 攻击arXiv 2607.12340

    研究：LLM Agent 技能名幻觉率最高达 62%，可被抢注用于供应链攻击

    提出技能名称抢注攻击，利用智能体虚构技能名实施供应链劫持

    arXiv
    2607.12340
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Nemotron-Cascade-2 30B、GLM-4.5-Air、GPT-5.4-mini 等 10 个
    摘要研究证实智能体虚构技能名具有高发生率与可预测性，现有防御难以兼顾安全与效用，亟需注册表结构性防护。

    本研究系统揭示了大模型智能体技能推荐场景下的虚构技能名称安全风险，将其形式化为一种新型供应链抢注攻击。

    深度解读完整解读
  4. 可解释性arXiv 2608.21766

    研究：六个开源权重模型的评测感知可线性解码，但与口头表达弱相关

    用探针与激活导向分析语言模型的评测意识表征及言语化

    arXiv
    2608.21766
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Nemotron3-49B、Qwen3-8B、Qwen3-32B 等 14 个

    摘要论文系统证明大模型普遍具备评估与部署的隐层表征，但与言语化弱耦合，激活干预可因果诱导言语化且 SFT 阶段起关键稳定作用。

    深度解读完整解读
  5. 评测与基准arXiv 2609.02316

    Counter-GEO-Bench：现有护栏难挡 GEO 虚假信息

    构建 COUNTER-GEO-BENCH，评测生成式搜索中的 GEO 虚假信息防御

    arXiv
    2609.02316
    发表
    层
    应用层
    场景
    LLM 应用
    测试
    NeMo Guardrails、Gemma-4-31B-IT、Qwen-3.5-35B-A3B 等 11 个

    摘要论文构建了针对 GEO 虚假信息的首个防御基准，揭示通用护栏的失效与反作用，并提出了有效的轻量对比检测基线。

    深度解读完整解读
  7. 风险行为arXiv 2609.39838

    研究：模型易学会隐写传信，隐写推理则难得多

    比较隐写推理与隐写传信、编码推理的可学性

    arXiv
    2609.39838
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Nemotron-3-Super-120B、GPT-5.5、Claude Sonnet 5 等 14 个
    摘要隐写推理比传信和编码推理更难学。

    Schulz、Fülle 与 Frengel 测量大语言模型习得隐写推理的难度，并与隐写传信、编码推理对比，以估计依赖阅读 CoT 的监控还能否成立。

    深度解读完整解读
  8. 风险行为arXiv 2609.35928

    论文发现暴露模型身份标签会削弱多智能体 LLM 合作

    测量公开模型家族标签引发的多智能体派系化与合作下降

    arXiv
    2609.35928
    发表
    层
    应用层
    场景
    多智能体
    测试
    Nemotron (NVIDIA-Nemotron-3-Nano-30B-A3B-BF16)、Gemma (gemma-4-26B-A4B-it)、GPT-OSS (gpt-oss-20b) 等 6 个
    摘要可见身份标签让异构 LLM 群体按标签结派，共识更慢、更贵，去掉标签后该行为消失。

    Del Giudice 等人研究异构多智能体 LLM 系统里一个配置细节：把模型家族身份告诉智能体，会不会改变合作。他们把由此出现的、按身份结组的倾向称为 factionalism。任务是无利害的共同决策，没有人设，也没有偏向同家族同伴的奖励。

    深度解读完整解读
  10. 其他arXiv 2609.39982

    Mid-Harness：在模型与 Harness 之间扩展终端智能体的动作采样

    提出 Mid-Harness，在执行前验证并选择终端智能体的候选动作

    arXiv
    2609.39982
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Nemotron3.5 Lightning、Nemotron3 Ultra、TMAX-9B 等 8 个
    摘要Mid-Harness 在执行前选择候选动作。

    Mid-Harness 在不改生成器和执行 harness 的前提下，于二者之间做动作级测试时计算，用来研究终端智能体里“多采样、再验证”何时提高轨迹成功。

    深度解读完整解读
  11. 可解释性arXiv 2609.09575

    MonoTM：用可解释单义特征做主题建模，超越关键词表示

    提出 MonoTM，用 SAE 单义特征估计文档主题混合并生成主题描述

    arXiv
    2609.09575
    发表
    层
    模型层
    场景
    模型与 API
    测试
    llama-embed-nemotron-8b、Gemma-3-27B-IT、Gemma-3-12B-IT
    摘要MonoTM 分开估计混合与解释主题，三套基准上二者偏好的 SAE 配置不同。

    MonoTM 是建在文档嵌入 SAE 上的可解释主题模型：混合估计用全部 SAE 特征，主题描述只用另一套配置里通过验证的语义特征。

    深度解读完整解读
  12. 分析与理论arXiv 2609.38324

    研究：多智能体讨论中异议被压制时收益下降

    用意见动力学模型解释多智能体讨论何时优于多数投票

    arXiv
    2609.38324
    发表
    层
    应用层
    场景
    多智能体
    测试
    nemotron、glm-flash、seed 等 9 个
    摘要讨论增益由压抑率相对 c∗=γ/(γ+a) 的裕度决定，关闭推理或减少压抑可增大该增益。

    作者用一个只含四类行为的意见动力学，解释 LLM 团队讨论何时优于多数投票、何时停在错误共识。

    深度解读完整解读
  13. 攻击arXiv 2609.28585

    论文提出持久计费状态概念，揭示工具调用 LLM Agent 的拒绝钱包攻击与防御

    提出工具调用 Agent 的拒绝钱包攻击及主机侧计费约束

    arXiv
    2609.28585
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Nemotron-120B、GPT-4o、GPT-4o-mini 等 9 个
    摘要已准入工具返回的跨轮保留会重复计费。

    这篇工作把工具调用智能体里跨轮保留、并被提供商反复计费的外部工具返回定义为 persistent billable state，并把它的主机侧再次送入决定当作控制点。。

    深度解读完整解读
  16. 评测与基准arXiv 2609.33658

    AgentBound：面向工具型 LLM Agent 安全的四路反事实评测框架

    提出四向反事实评测，测量工具 Agent 对授权与表面风险的行动边界

    arXiv
    2609.33658
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Nemotron-Nano-9B-v2、GPT-5.5、Claude Opus 4.8 等 15 个
    摘要四向反事实基准把过度拒绝和未授权遵从拆开，Thought 校正在十个配置上提高已授权完成。

    AGENT BOUNDARY 是面向工具使用 LLM 智能体的四向可执行反事实评测，并附带一个决策时 Thought 校准模块。

    深度解读完整解读
已经到底了