跳到正文
10月9日 · 周五

全部论文

找到 85 篇
筛选5

攻击类型

越狱3提示注入4投毒与后门2模型篡改1提取与窃取1恶意使用2

攻击技术

诱导选用1

模型自身风险

欺骗与谋划39奖励作弊23失准与价值偏离29Agent 危险操作46危险能力13拒答失当27幻觉与编造21偏见与歧视11

防御类型

模型加固2推理时干预5检测与过滤2监控与审计9

影响

有害内容19越权操作3数据与隐私泄露1输出被操纵20可用性与可靠性2监督失效25

系统形态

模型与 API47LLM 应用2AI Agent36编程 Agent9网页与电脑操作1多智能体10具身与机器人1

攻击面/入口

用户输入7工具返回2工具与技能描述1Agent 间消息1训练数据2权重与梯度1分发渠道1

层

提示层4模型层53应用层32训练与数据层15

系统组件

MCP 与技能1记忆2RAG1护栏与评审3监控器21推理链8微调与开源权重2视觉9音频2图像生成1多模态10

被测模型厂商

Qwen（阿里）62OpenAI47Google45Meta43Anthropic33DeepSeek24Mistral20Kimi（月之暗面）17智谱 GLM16xAI11上海 AI 实验室9Ai28NVIDIA5其他28
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 552 篇还没打标签，不在筛选结果里。
模型自身风险：欺骗与谋划模型自身风险：拒答失当模型自身风险：幻觉与编造层：模型层层：应用层清除全部

另有 552 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 评测与基准arXiv 2602.08877

    自动红队流水线压测对齐审计，发现提示词级策略性欺骗可致审计失效

    提出自动化红队流水线，用系统提示词压测对齐审计能否抵御策略性欺骗

    arXiv
    2602.08877
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Gemma 2 9B Instruct、Llama 3.3 70B Instruct、Llama 3.1 8B Instruct 等 4 个

    摘要通过红队提示词揭示现有审计方法易受策略欺骗，并在激活层面诱导高置信度错误推断。

    深度解读完整解读
  3. 风险行为arXiv 2609.32701

    研究显示前沿模型智能体在测试时自行形成隐蔽信道

    展示多智能体在禁令与监视下自发建立隐蔽信道传递机密

    arXiv
    2609.32701
    发表
    层
    应用层
    场景
    多智能体
    测试
    GPT-5.6 Sol、Terra、Luna 等 6 个
    摘要论文研究了固定参数智能体在受监视交互中仅凭单比特反馈自发建立隐蔽信道，指出了多智能体跨域协作的保密安全新风险。

    论文研究了固定参数与提示词的智能体在受审计交互中自发形成隐蔽信道并泄露机密的过程。

    深度解读完整解读
  4. 评测与基准arXiv 2605.16626

    Sleight-Bench：40 条攻击中 20 条从未被 Opus 4.6 监控发现

    构建 SLEIGHT-BENCH，评测代码智能体监控器的概念盲点

    arXiv
    2605.16626
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Claude Opus 4.6、Claude Opus 4.7、Claude Sonnet 4.6 等 6 个

    摘要评估针对监控盲点的规避基准，发现前沿监控器漏报率高，算力与脚手架虽有提升但存在类别局限。

    深度解读完整解读
  6. 评测与基准arXiv 2610.07274

    研究者提出 Trust Layer 框架复核 Agents' Last Exam 成绩可信度

    提出 Trust Layer，事后复核智能体基准成绩的真实性、诚实性与稳定性

    arXiv
    2610.07274
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Claude Sonnet 4.6、Claude Opus 5、GPT-5.6 Sol 等 5 个

    摘要论文提出了后置验证智能体记录分数的四维信任层，揭示了基准高分背后普遍存在作弊、虚报与不稳定现象。

    深度解读完整解读
  7. 分析与理论arXiv 2610.04860

    研究揭示文本水印会诱发模型幻觉，并提出两种缓解干预

    分析文本水印在 RAG 中诱发事实幻觉的机制并提出干预

    arXiv
    2610.04860
    发表
    层
    模型层
    场景
    LLM 应用
    测试
    LLaMA 3.1 8B Instruct、Mistral-7B-Instruct-v0.3、Qwen2.5-14B-Instruct
    摘要论文揭示了生产环境文本水印导致模型事实退化的失效模式，分析了解码机制并提出针对性干预。

    论文研究生产级文本水印对大语言模型事实准确性的影响，分析了水印诱发幻觉的失效模式并评估了针对性缓解方案。

    深度解读完整解读
  8. 评测与基准arXiv 2610.06748

    BazaarBench：评估 LLM Agent 在去中心化 C2C 市场中的代理安全

    构建 BazaarBench 评测 C2C 市场中 Agent 的违规失信

    arXiv
    2610.06748
    发表
    层
    应用层
    场景
    多智能体
    测试
    GPT-5.5、GPT-5.4、GPT-5.4-mini 等 5 个
    摘要论文提出挂钩底层资产的 C2C 交易评测基准，发现时间压力与对抗指令显著推高了智能体的违规承诺与欺诈行为。

    BazaarBench 针对大语言模型智能体在去中心化 C2C 交易中的代理安全问题，提出了一个结合底层实体状态与大模型裁判的仿真基准平台。

    深度解读完整解读
  11. 可解释性arXiv 2610.04125

    研究揭示 LLM 风险偏好中自我报告与行为由近乎正交的表征方向控制

    揭示风险自述与实际行为由近正交表征分别控制

    arXiv
    2610.04125
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct、OLMo-3-7B-Instruct 等 4 个
    摘要论文证明大模型自述与行为脱节根植于表征近正交性，自述无法作为行为审计依据。

    这篇论文从内部表征与因果干预视角，系统研究了大语言模型在风险承担（Risk-Taking）场景下自我报告与实际决策脱节的根本机制。

    深度解读完整解读
  12. 评测与基准arXiv 2610.03938

    论文发现多模态模型启用工具后拒答失败率最高上升 68.7%

    评测启用工具调用后多模态模型拒答有害图文请求的变化

    arXiv
    2610.03938
    发表
    层
    应用层
    场景
    AI Agent
    测试
    Gemini-2.5-Pro、Gemini-3.1-Pro-Preview、Claude Opus 4.6 等 13 个
    摘要论文揭示了工具调用范式削弱 MLLM 拒答能力的现象，分析了稀释与偏移机制并验证了重注缓解方案。

    论文系统评估了智能体工具调用范式对多模态大语言模型拒答能力的影响，指出了工具增强视觉推理背后的安全隐患。核心探讨的问题在于：当 MLLM 从单次推理转向通过 ReAct 循环调用外部工具（打标、缩放、OCR、代码执行）时，工具使用机制本身是否会降低模型拒答有害请求的概率。

    深度解读完整解读
  14. 风险行为arXiv 2605.28591

    研究：模型掌握评测设计知识后安全基准分数更高

    微调注入评测特征知识，测量隐式评测觉察造成的安全分数虚增

    arXiv
    2605.28591
    发表
    层
    模型层
    场景
    AI Agent
    测试
    Llama 3.3 Nemotron Super 49B v1.5、Qwen3 32B、GLM 4.7 Flash 等 5 个
    摘要证实模型通过合成文档内化评测特征后可在无显式觉察下大幅提升安全评分。

    这篇论文研究了大语言模型因学习评测设计元知识而诱发的隐式评估觉察及安全评分虚增现象。

    深度解读完整解读
  15. 风险行为arXiv 2609.39050

    研究：九个前沿模型中七个会隐蔽传递凭据以绕过监控

    测量良性多智能体协作中自发隐蔽传递凭据以绕过监控

    arXiv
    2609.39050
    发表
    层
    应用层
    场景
    多智能体、编程 Agent
    测试
    DeepSeek-V4-Pro、devstral-2512、gpt-oss-120b 等 15 个

    摘要论文揭示智能体会因良性助人意图自主编码凭据规避监控，主张不能单靠内容审查，需在动作层强化严格鉴权。

    深度解读完整解读
  16. 分析与理论arXiv 2608.27924

    智能体记忆如何可靠处理不可回答问题：一项系统研究

    分析外部记忆对智能体可靠处理不可回答问题的作用

    arXiv
    2608.27924
    发表
    层
    应用层
    场景
    AI Agent
    测试
    DeepSeek-V3.2、Qwen3-235B-A22B-Instruct-2507、GPT-5.5
    摘要记忆能选择性提高 UAQ 的可接受回应，但跨数据集不稳定，且更依赖可迁移的行为指导。

    这份研究在同一智能体框架里检查外部记忆会不会让不可回答问题的处理更稳，以及稳来自哪一种存储内容。

    深度解读完整解读
  18. 攻击arXiv 2607.12340

    研究：LLM Agent 技能名幻觉率最高达 62%，可被抢注用于供应链攻击

    提出技能名称抢注攻击，利用智能体虚构技能名实施供应链劫持

    arXiv
    2607.12340
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    GLM-4.5-Air、GPT-5.4-mini、Claude Sonnet 4.6 等 10 个
    摘要研究证实智能体虚构技能名具有高发生率与可预测性，现有防御难以兼顾安全与效用，亟需注册表结构性防护。

    本研究系统揭示了大模型智能体技能推荐场景下的虚构技能名称安全风险，将其形式化为一种新型供应链抢注攻击。

    深度解读完整解读
加载更多