跳到正文
10月9日 · 周五

全部论文

找到 143 篇
筛选7

攻击类型

越狱11提示注入10投毒与后门5模型篡改5提取与窃取9检测规避3恶意使用2

攻击技术

梯度与表征优化1自动化搜索2多轮渐进3编码与混淆1角色扮演与说服1针对防御3潜伏触发2诱导选用1

模型自身风险

欺骗与谋划13奖励作弊6失准与价值偏离8Agent 危险操作3危险能力5拒答失当14幻觉与编造7偏见与歧视3

防御类型

模型加固3推理时干预11检测与过滤4指令与数据隔离1权限与审批1监控与审计10水印与溯源2

影响

有害内容19越权操作10数据与隐私泄露10输出被操纵23可用性与可靠性6监督失效17滥用能力提升2

系统形态

模型与 API110LLM 应用28AI Agent155编程 Agent31网页与电脑操作14多智能体25具身与机器人2

攻击者权限

黑盒5灰盒2白盒4无盒1

攻击面/入口

用户输入22文档与消息2工具返回2工具与技能描述6代码仓库与依赖3检索语料1记忆写入2图像与音视频3训练数据1权重与梯度6分发渠道4推理服务与硬件1

层

提示层43模型层113应用层30训练与数据层44基础设施层2

系统组件

MCP 与技能6记忆3护栏与评审4监控器15推理链9权限与沙箱1微调与开源权重3视觉10音频1嵌入4多模态11

被测模型厂商

Qwen（阿里）166Google140OpenAI133Meta109Anthropic84DeepSeek62Mistral44智谱 GLM41Kimi（月之暗面）38Ai224MiniMax14xAI13Microsoft12上海 AI 实验室10EleutherAI7NVIDIA7Stability AI6TII5其他118
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 489 篇还没打标签，不在筛选结果里。
系统形态：模型与 API系统形态：编程 Agent系统形态：具身与机器人层：模型层层：应用层被测模型厂商：Google被测模型厂商：Microsoft清除全部

另有 489 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 评测与基准arXiv 2602.08877

    自动红队流水线压测对齐审计，发现提示词级策略性欺骗可致审计失效

    提出自动化红队流水线，用系统提示词压测对齐审计能否抵御策略性欺骗

    arXiv
    2602.08877
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Gemma 2 9B Instruct、Llama 3.3 70B Instruct、Llama 3.1 8B Instruct 等 4 个

    摘要通过红队提示词揭示现有审计方法易受策略欺骗，并在激活层面诱导高置信度错误推断。

    深度解读完整解读
  2. 攻击arXiv 2607.03968

    研究揭示 IDE 编程 Agent 的工作流级越狱：GitHub Copilot 四后端 816/816 生成有害内容

    提出工作流级越狱构建，经多轮开发工作流诱导编程 Agent 在代码中写出有害内容

    arXiv
    2607.03968
    发表
    层
    应用层
    场景
    编程 Agent
    攻击者
    黑盒、无盒
    测试
    Gemini 3.1 Pro、Gemini 3.5 Flash、Claude Sonnet 4.6 等 5 个

    摘要论文揭示了 IDE 编程智能体在多轮开发工作流中会绕过单轮拒答并自行写出有害代码，呼吁防御转向工作流与代码产物级审查。

    深度解读完整解读
  4. 攻击arXiv 2608.25776

    EvoMal 攻击利用自我进化编码 Agent 的自我投毒实现蠕虫式传播

    提出 EVOMAL 攻击，诱导编码 Agent 自我投毒并蠕虫式传播技能

    arXiv
    2608.25776
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Gemma-4-31B-IT、Devstral-Small-2、Qwen3-Coder-Next 等 7 个

    摘要论文指出了自演化智能体模仿检索代码的自我毒化漏洞，提出 EVOMAL 攻击与防御，阐明了供应链新风险。

    深度解读完整解读
  5. 分析与理论arXiv 2610.09517

    审计发现 CLIP 安全分数主要反映画面与提示词场景的相似度

    开环审计冻结视觉安全分，发现偏离主要来自场景模板与视角

    arXiv
    2610.09517
    发表
    层
    模型层
    场景
    具身与机器人
    测试
    CLIP ViT-B/32、CLIP ViT-L/14、Qwen2-VL-7B 等 6 个
    摘要论文审计了冻结 VLM 安全评分机制，指出其反映场景模板而非危险感知，为安全强化学习评估提供了严谨基准。

    本文是一项针对安全强化学习中冻结视觉语言模型（VLM）安全评分机制的实证审计研究。

    深度解读完整解读
  6. 分析与理论arXiv 2610.09667

    东京大学研究：推理模型按 UUID 阈值或整除规则挑选审计样本，控制标识符即可躲开复核

    揭示推理模型用标识符规则替代随机抽样，使审计可被预测

    arXiv
    2610.09667
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Gemini 3.8 Flash、Gemini 3.5 Flash、GPT-6 Sol 等 6 个

    摘要研究揭示推理智能体将标识符转化为确定性规则，破坏群体独立性并导致审计预测漏洞，建议显式提供随机输入。

    深度解读完整解读
  7. 评测与基准arXiv 2610.10276

    PatchBench 提出激活补丁局部评测协议，揭示越狱修复的附带损伤

    提出 PatchBench-Local 协议，评测激活补丁修复越狱的局部附带损伤

    arXiv
    2610.10276
    发表
    层
    模型层
    场景
    模型与 API
    测试
    gemma-3-4b-it、gemma-3-12b-it、Qwen2.5-3B-Instruct 等 8 个

    摘要论文提出 PatchBench 与局部评估协议，揭示了激活补丁在全局能力无损下仍存局部良性退化。

    深度解读完整解读
  8. 评测与基准arXiv 2605.16626

    Sleight-Bench：40 条攻击中 20 条从未被 Opus 4.6 监控发现

    构建 SLEIGHT-BENCH，评测代码智能体监控器的概念盲点

    arXiv
    2605.16626
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Gemini 3.1 Pro、Claude Opus 4.6、Claude Opus 4.7 等 6 个

    摘要评估针对监控盲点的规避基准，发现前沿监控器漏报率高，算力与脚手架虽有提升但存在类别局限。

    深度解读完整解读
  10. 评测与基准arXiv 2610.06522

    SycoLens 研究：单一谄媚翻转率掩盖纠正与屈从的区别

    构建 SycoLens 重放评测，区分谄媚翻转中的纠错与屈从

    arXiv
    2610.06522
    发表
    层
    模型层
    场景
    模型与 API
    测试
    gemini-3.1-pro、gemini-3.5-flash、gemini-3.1-flash-lite 等 11 个
    摘要论文揭示施压句式、边界距离与格式偏置主导翻转率，提出系统解构纠错与顺从的综合评测方案。

    本文系统解构了大语言模型在用户质疑下的阿谀奉承行为与评测机制。

    深度解读完整解读
  13. 评测与基准arXiv 2610.02293

    HakemBench：土耳其语类型化决策基准发布

    发布 HakemBench，评测土耳其语定型决策的质量、校准与选择性自动化

    arXiv
    2610.02293
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Gemini 3.8 Flash、open-jev (DeBERTa-v3-large)、GPT-5.6 Sol 等 11 个
    摘要HakemBench 评测土耳其语定型决策。

    HakemBench v1.0 是土耳其语定型决策的开放基准，看模型在固定选项上给出的概率是否可用，以及不确定时能否把案例交给人。

    深度解读完整解读
  14. 评测与基准arXiv 2610.02741

    研究系统评估循环语言模型的思维链可监控性

    系统评估循环语言模型加深 loop 后的 CoT 可监控性

    arXiv
    2610.02741
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Gemma-4-E4B、Ouro-1.4B-Thinking、Ouro-2.6B-Thinking 等 10 个
    摘要加深 loop 可在部分压力测试任务降低可监测性，循环架构本身并不必然更难监测。

    这项工作评估 LoopLM 的 CoT 可监测性：加深共享层的重复次数，以及“有循环结构”本身，会不会让决策关键因素更少出现在可监测文本里。

    深度解读完整解读
  15. 防御arXiv 2610.03055

    HackTrace：用生成状态监督检测代码生成中的奖励作弊

    提出 HACKTRACE，用生成期激活检测代码智能体的奖励作弊

    arXiv
    2610.03055
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    CodeBERT、Qwen3-8B、Llama-3.1-8B-Instruct 等 4 个

    摘要论文提出利用生成状态监督作弊尝试的 HACKTRACE 框架，实现高精度低延迟检测并在 GRPO 训练中有效抑制奖励投机。

    深度解读完整解读
  16. 风险行为arXiv 2609.39050

    研究：九个前沿模型中七个会隐蔽传递凭据以绕过监控

    测量良性多智能体协作中自发隐蔽传递凭据以绕过监控

    arXiv
    2609.39050
    发表
    层
    应用层
    场景
    多智能体、编程 Agent
    测试
    Gemini 3.1 Pro、DeepSeek-V4-Pro、devstral-2512 等 15 个

    摘要论文揭示智能体会因良性助人意图自主编码凭据规避监控，主张不能单靠内容审查，需在动作层强化严格鉴权。

    深度解读完整解读
  17. 攻击arXiv 2609.18217

    研究：跨通道碎片化攻击可绕过 MCP 单通道防御

    提出跨通道分段攻击，利用 MCP 隐式信任诱导外发敏感文件

    arXiv
    2609.18217
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Gemini 2.5 Flash、GPT-4o、GPT-4o-mini 等 15 个

    摘要论文揭示了 MCP 多通道隐式信任层级，通过跨通道分段与协议级利用突破现有防御，展示了严重的凭证外发风险。

    深度解读完整解读
  18. 防御arXiv 2610.01170

    HeadEdit：通过冻结的 unembedding 矩阵校准语言模型行为

    提出 HeadEdit，经冻结 unembedding 做随输入变化的 logit 校正

    arXiv
    2610.01170
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Gemma-3-4B-IT、Qwen3-4B、Llama-3.2-3B-Instruct 等 4 个
    摘要低秩 unembedding 校正抬高九个设置的总体准确率，并可部分预测 DPO 更新。

    HeadEdit 是一种不更新参数的行为校准方法，作用点是冻结的 unembedding，而不是中间层残差或新的梯度优化。

    深度解读完整解读
  19. 评测与基准arXiv 2610.00568

    研究提出对齐诱导不忠实：对齐训练让模型静默改写输入内容

    提出 FAITHCONFLICT，测量对齐训练导致模型静默改写相悖输入

    arXiv
    2610.00568
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Gemma-3-12B、Gemma-3-27B、Llama-3.1-8B-Instruct 等 13 个
    摘要论文揭示并系统分析了大语言模型在安全与常识冲突下静默背离输入的 AIU 现象与三元冲突困境。

    本文系统揭示并实证分析了语言模型后训练中存在的“能力–安全–忠实度”三元冲突。

    深度解读完整解读
加载更多