跳到正文
10月9日 · 周五

全部论文

找到 24 篇
筛选7

攻击类型

越狱2提示注入4投毒与后门6提取与窃取1检测规避2恶意使用1

攻击技术

自动化搜索2多轮渐进1编码与混淆1角色扮演与说服1针对防御2潜伏触发3诱导选用1

模型自身风险

奖励作弊2失准与价值偏离1拒答失当1偏见与歧视1

防御类型

模型加固1检测与过滤4监控与审计1

影响

有害内容3越权操作3数据与隐私泄露4输出被操纵5可用性与可靠性1监督失效3

系统形态

模型与 API12LLM 应用17AI Agent66编程 Agent12网页与电脑操作5多智能体7具身与机器人2

攻击者权限

黑盒2灰盒1白盒1

攻击面/入口

用户输入3工具与技能描述4代码仓库与依赖2记忆写入3图像与音视频1权重与梯度1分发渠道3推理服务与硬件1

层

提示层29模型层11应用层13训练与数据层11

系统组件

MCP 与技能18记忆8护栏与评审13监控器31推理链22权限与沙箱9微调与开源权重9视觉21音频9图像生成12嵌入3多模态40

被测模型厂商

OpenAI15Google12Qwen（阿里）9DeepSeek8Meta7Anthropic6Mistral6其他14
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 433 篇还没打标签，不在筛选结果里。
系统形态：模型与 API系统形态：编程 Agent层：模型层层：应用层系统组件：记忆系统组件：护栏与评审系统组件：嵌入清除全部

另有 433 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 攻击arXiv 2608.09732

    ColluSkill 用跨技能组合绕过 Agent 技能扫描器

    提出 ColluSkill 跨技能组合攻击，拆分恶意载荷以绕过技能扫描器

    arXiv
    2608.09732
    发表
    层
    应用层
    场景
    编程 Agent
    攻击者
    黑盒、灰盒
    测试
    GPT-5.5、DeepSeek-V4-Pro、GLM-5.2

    摘要论文揭示了单技能孤立扫描的盲区，提出多技能链攻击 ColluSkill 与上下文防御 ChainGuard 并验证了有效性。

    深度解读完整解读
  2. 攻击arXiv 2608.25776

    EvoMal 攻击利用自我进化编码 Agent 的自我投毒实现蠕虫式传播

    提出 EVOMAL 攻击，诱导编码 Agent 自我投毒并蠕虫式传播技能

    arXiv
    2608.25776
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Devstral-Small-2、Gemma-4-31B-IT、Qwen3-Coder-Next 等 7 个

    摘要论文指出了自演化智能体模仿检索代码的自我毒化漏洞，提出 EVOMAL 攻击与防御，阐明了供应链新风险。

    深度解读完整解读
  4. 评测与基准arXiv 2610.04737

    PyINE：用可验证 Python 执行轨迹研究推理模型的捷径与监督

    提出 PyINE 基准，训练捷径跟随模型并比较监督者

    arXiv
    2610.04737
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Qwen3-4B-Instruct、shortcut-following model organism、gpt-4o 等 14 个
    摘要PyINE 用可验证代码执行研究捷径失败的监督覆盖与成本权衡。

    PyINE 是用可执行程序研究推理模型引出与监督的框架，PyINE-v1 是其第一次发布。

    深度解读完整解读
  6. 评测与基准arXiv 2608.04830

    ContextWeave：面向长周期办公工作流的智能体记忆基准

    提出办公工作流记忆基准 ContextWeave ，衡量历史召回对后续任务的增益

    arXiv
    2608.04830
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    DeepSeek-V4-Pro、GPT-5.5、GLM-5.1 等 5 个
    摘要ContextWeave 用真实办公任务流检验记忆是否改善工作区质量与偏好对齐。

    ContextWeave 是面向语言智能体记忆的纵向基准，用来看召回先前经验能否让后续办公任务做得更好。

    深度解读完整解读
  7. 评测与基准arXiv 2607.05462

    BioSecBench-Refusal：面向智能体生物安全风险评估的配对基准

    提出 BioSecBench-Refusal，评测智能体生物安全拒答是否对准风险

    arXiv
    2607.05462
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Opus 4.8、Opus 4.7、Opus 4.6 等 10 个
    摘要配对基准显示拒绝多由 API 触发，合法任务常被拒得不少于隐蔽危害。

    BioSecBench-Refusal 把生物研发智能体的谨慎程度和识别隐蔽危害的能力放在同一套任务上测量。

    深度解读完整解读
  9. 防御arXiv 2607.14737

    GeoDetect：面向视觉语言预训练模型的几何对抗检测方法

    提出 GeoDetect 以几何分数检测视觉语言预训练模型的对抗样本

    arXiv
    2607.14737
    发表
    层
    模型层
    场景
    模型与 API
    攻击者
    白盒
    测试
    CLIPViT (ViT-B/16)、CLIPCNN (ResNet-50)、ALBEF 等 4 个
    摘要GeoDetect 用几何分数检测 VLP 对抗样本。

    GeoDetect 是面向视觉-语言预训练模型的对抗样本检测方法，用嵌入几何而不是任务 logits 区分干净样本与对抗样本。

    深度解读完整解读
  11. 评测与基准arXiv 2607.14611

    论文评测 Claude Code 与 Codex 记忆文件中的提示注入风险

    评测编码智能体记忆文件中的提示注入及其跨会话持久性

    arXiv
    2607.14611
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Claude Haiku 4.5、Claude Opus 4.7、GPT-5.2 等 4 个
    摘要已植入记忆文件的载荷可以跨会话影响 Claude Code 与 Codex，攻击成功与载荷是否留下是两种不同的失败。

    Bad Memory 在沙箱合成工作区里评测文件型持久记忆上的提示注入，比较载荷能否改变当前会话，以及能否在后续会话中留下或叠加。

    深度解读完整解读
  13. 分析与理论arXiv 2609.36477

    研究发现护栏模型在基座模型不确定处过度自信

    诊断护栏相对基座在对抗提示上的置信失校

    arXiv
    2609.36477
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Llama-Guard 7B、Llama-Guard-2 8B、Llama-Guard-3 8B 等 10 个
    摘要对抗包装使 guard 高置信漏检，而对应 base 在同一输入上常更不确定。

    诊断性分析：五个提示词分类 guard 的置信度，在清洁输入上可以较校准，在越狱包装后则变成高置信度的错误判定。

    深度解读完整解读
  14. 防御arXiv 2609.32720

    BiasReducer：面向奖励模型的自适应偏见缓解方法

    B IAS R EDUCER 只改奖励头，按数据集选择属性编辑。

    arXiv
    2609.32720
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Skywork-Reward-V2-Qwen3-1.7B、GRM-Llama3.2-3B-rewardmodel-ft、RM-Mistral-7B 等 7 个
    摘要BIASREDUCER 按数据集选择奖励头编辑，五模型三基准平均提升并迁移到下游训练。

    BIASREDUCER 是一种只改线性奖励头的奖励模型编辑框架，用来降低模型对预定义表面属性的依赖，并按新数据集决定改哪些属性。

    深度解读完整解读
  15. 可解释性arXiv 2609.05074

    Influence Score 与 Transformer 可解释性：推理时注意力头有效影响的度量

    提出 influence score，量化提示注入检测器各注意力头的有效贡献

    arXiv
    2609.05074
    发表
    层
    模型层
    场景
    模型与 API
    测试
    DeBERTa-v3-base prompt-injection classifier
    摘要该分数把注意力头的方向与残差贡献连到分类，并分开正确与错误预测。

    这项工作在推理时给提示注入检测分类器的注意力头一个影响分数，用来看分类决策从哪些头来。缺口是电路分析往往要重插桩，只看输出又不知道内部组件的贡献。作者希望同时看到决策在哪一层形成、哪些头在推，以及正确与错误是否对应不同机制。

    深度解读完整解读
  16. 评测与基准arXiv 2609.09798

    CS-Guard：首个面向代码生成安全的 LLM 护栏评测基准

    提出 CS-Guard 基准与虚构场景攻击，评测代码生成护栏

    arXiv
    2609.09798
    发表
    层
    应用层
    场景
    编程 Agent
    攻击者
    黑盒
    测试
    CodeLlama-13B-Instruct、DeepSeekCoder-V2-Lite-16B、GPT-OSS-20B 等 7 个

    摘要论文提出了代码安全护栏基准 CS-Guard，评估发现现有护栏对虚构场景攻击和代码级恶意请求防御较弱。

    深度解读完整解读
  18. 评测与基准arXiv 2609.34262

    论文提出基准完整性维护框架，审计 Agent 通过轨迹中的非应得通过

    提出过程核验框架，审计 Agent 基准的无根据通过与奖励黑客

    arXiv
    2609.34262
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Opus 4.7、Opus 4.8、Opus 5 等 11 个
    摘要审计通过轨迹、分开奖励黑客与验证器弱点，并用重放加现场重测验收修复。

    Scale AI 的这篇工作把 agentic benchmark 的有效性写成持续维护问题：验证器给满分，并不等于智能体展示了任务所要的能力。

    深度解读完整解读
  19. 可解释性arXiv 2609.09575

    MonoTM：用可解释单义特征做主题建模，超越关键词表示

    提出 MonoTM，用 SAE 单义特征估计文档主题混合并生成主题描述

    arXiv
    2609.09575
    发表
    层
    模型层
    场景
    模型与 API
    测试
    llama-embed-nemotron-8b、Gemma-3-27B-IT、Gemma-3-12B-IT
    摘要MonoTM 分开估计混合与解释主题，三套基准上二者偏好的 SAE 配置不同。

    MonoTM 是建在文档嵌入 SAE 上的可解释主题模型：混合估计用全部 SAE 特征，主题描述只用另一套配置里通过验证的语义特征。

    深度解读完整解读
  20. 评测与基准arXiv 2609.39473

    FAME：用反事实推理评测自主智能体的虚假记忆

    提出 FAME，用反事实概念漂移评测智能体虚假记忆

    arXiv
    2609.39473
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Llama-3B
    摘要FAME 用反事实引起的隐状态概念漂移，在出答案前区分忠实记忆与虚假记忆。

    FAME 是一个免训练的评测框架，用来判断自主智能体的记忆在虚假相关、环境偏移或知识冲突下是否已变成虚假记忆。。

    深度解读完整解读
加载更多