跳到正文
10月9日 · 周五

全部论文

找到 30 篇
筛选7

攻击类型

越狱5提示注入2投毒与后门3模型篡改1提取与窃取1恶意使用2

攻击技术

编码与混淆1潜伏触发2

模型自身风险

欺骗与谋划6Agent 危险操作2拒答失当2幻觉与编造2偏见与歧视1

防御类型

模型加固1推理时干预4指令与数据隔离1权限与审批1监控与审计12

影响

有害内容7越权操作5数据与隐私泄露3输出被操纵3可用性与可靠性2监督失效7

系统形态

模型与 API23LLM 应用3AI Agent89编程 Agent24网页与电脑操作7多智能体12

攻击者权限

黑盒2白盒1

攻击面/入口

用户输入7网页与界面2文档与消息1记忆写入2图像与音视频2权重与梯度2分发渠道2

层

提示层2模型层22应用层8训练与数据层7

系统组件

MCP 与技能2记忆6护栏与评审6监控器15推理链17权限与沙箱2微调与开源权重9视觉23音频9图像生成11嵌入3多模态41

被测模型厂商

Qwen（阿里）19Meta14Google10OpenAI8Mistral7Anthropic5其他19
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 474 篇还没打标签，不在筛选结果里。
系统形态：模型与 API系统形态：网页与电脑操作层：模型层层：应用层系统组件：记忆系统组件：监控器系统组件：音频清除全部

另有 474 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 评测与基准arXiv 2602.08877

    自动红队流水线压测对齐审计，发现提示词级策略性欺骗可致审计失效

    提出自动化红队流水线，用系统提示词压测对齐审计能否抵御策略性欺骗

    arXiv
    2602.08877
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Gemma 2 9B Instruct、Llama 3.3 70B Instruct、Llama 3.1 8B Instruct 等 4 个

    摘要通过红队提示词揭示现有审计方法易受策略欺骗，并在激活层面诱导高置信度错误推断。

    深度解读完整解读
  2. 攻击arXiv 2604.02623

    论文提出 eTAMP 攻击：网页内容注入可跨会话污染 Web Agent 记忆

    提出 eTAMP，通过网页注入跨会话污染 Web 智能体轨迹记忆

    arXiv
    2604.02623
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    GPT-5-mini、GPT-5.2、GPT-OSS-120B 等 7 个
    摘要论文提出了基于环境注入的跨任务记忆投毒攻击 eTAMP，作者报告智能体在环境压力下易感性增加且能力与安全并不协同。

    该论文评估了基于大语言模型的 Web 智能体在利用历史交互轨迹进行记忆增强时的安全脆弱性。

    深度解读完整解读
  3. 评测与基准arXiv 2610.04575

    论文提出 Operational Validity Contract，审计激活监控从探针分数到告警策略的有效性

    提出操作有效性契约，审计激活监控的告警策略

    arXiv
    2610.04575
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    Qwen2.5-7B-Instruct、Llama-3.2-3B、Qwen2.5-7B 等 4 个
    摘要论文建立从探针得分到警报策略的审计框架，实证表明高 AUROC 不等于部署有效性，仅支持受限预测价值。

    这篇论文系统评估了大模型智能体激活监控器从离线探针得分向在线警报策略跨越时的统计与操作有效性。

    深度解读完整解读
  4. 评测与基准arXiv 2610.02741

    研究系统评估循环语言模型的思维链可监控性

    系统评估循环语言模型加深 loop 后的 CoT 可监控性

    arXiv
    2610.02741
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Ouro-1.4B-Thinking、Ouro-2.6B-Thinking、Nanbeige4.2-3B 等 10 个
    摘要加深 loop 可在部分压力测试任务降低可监测性，循环架构本身并不必然更难监测。

    这项工作评估 LoopLM 的 CoT 可监测性：加深共享层的重复次数，以及“有循环结构”本身，会不会让决策关键因素更少出现在可监测文本里。

    深度解读完整解读
  6. 防御arXiv 2608.05578

    AMS 工具通过激活分析检测语言模型的安全训练改动

    提出 AMS，用激活分离与方向相似度检测安全训练改动

    arXiv
    2608.05578
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Llama-3.1-8B-Instruct、Llama-3.2-3B-Instruct、Llama-3.2-1B-Instruct 等 14 个
    摘要AMS 按激活签名把安全改动分四类，前三类可由两级扫描覆盖，行为微调会漏。

    AMS 是面向开放权重模型、部署前使用的激活扫描器，用来看安全训练被拿掉或改写之后，激活空间里还留着什么几何痕迹。

    深度解读完整解读
  9. 评测与基准arXiv 2608.18066

    Salesforce AI Research 重测自改进 Agent

    重测记忆型自改进智能体，揭示任务顺序和多次运行带来的性能不稳

    arXiv
    2608.18066
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    GPT-5-mini、Gemini-2.5-Pro、GPT-OSS-120B 等 4 个
    摘要论文揭示了基于记忆的自改进智能体在多次运行和乱序下的脆弱性，并指出规约不完备是诱发退化的关键瓶颈。

    这篇论文是对基于文本记忆的自我改进智能体在复杂环境中评估可靠性的实证研究。

    深度解读完整解读
  11. 分析与理论arXiv 2609.37312

    研究：隐蔽推理必然留下信息痕迹，但思维链未必可读

    分析隐蔽推理在思维链监控下的信息足迹下界与不可读性

    arXiv
    2609.37312
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct、Qwen 3.5 397B-A17B 等 12 个

    摘要论文从理论与实证探明了思维链监控的边界：复杂隐蔽计算必然泄露信息足迹且需承担长度税，但该足迹可被在线加密而不可读。

    深度解读完整解读
  12. 防御arXiv 2609.37568

    SECRET：用源条件化中继引导缓解音视频大语言模型的幻觉

    提出训练无关的 SECRET，对问题表征做源条件转向以缓解音视频模型幻觉

    arXiv
    2609.37568
    发表
    层
    模型层
    场景
    模型与 API
    测试
    VideoLLaMA2-AV-7B、Qwen2.5-Omni-7B、Qwen3-Omni-30B-A3B
    摘要SECRET 在问题状态上做源条件转向，三个 AVLLM 上减轻了跨模态接地幻觉。

    SECRET 是一种训练无关的问题状态转向方法，用来减轻 AVLLM 的 source-confused grounding hallucination。

    深度解读完整解读
  13. 可解释性arXiv 2610.01864

    从孤立特征到轨道：通过多重 SAE 对齐发现音乐概念

    提出多 SAE 对齐方法，从音乐模型表征中发现和弦与调性轨道

    arXiv
    2610.01864
    发表
    层
    模型层
    场景
    模型与 API
    测试
    MuQ、MusicFM
    摘要用移调对齐的多 SAE 恢复和弦、调与旋律轨道，并用少量锚点做下游音乐理解。

    作者提出一套面向音乐基础模型的结构可解释性框架：不把 SAE 特征当作孤立概念，而用半音移调把它们连成有序轨道。

    深度解读完整解读
  14. 防御arXiv 2609.27399

    GUARD：在 CosyVoice2 上做说话人身份遗忘以阻止重识别

    提出 GUARD，在零样本 TTS 上用激活转向遗忘说话人身份以阻止再识别

    arXiv
    2609.27399
    发表
    层
    模型层
    场景
    模型与 API
    测试
    CosyVoice2-0.5B、F5-TTS、FireRedTTS
    摘要GUARD 用门控激活转向把退出说话人推向冒充相似度，以抑制再识别并保住音质。

    GUARD 用门控激活转向做说话人身份遗忘，使零样本 TTS 对退出说话人难以再识别。

    深度解读完整解读
  15. 可解释性arXiv 2609.34052

    通过稀疏自编码器实现神经音频编解码器的可解释框架：面向年龄、性别与口音的探索

    用 SAE 分析神经音频编解码器如何编码年龄、性别与口音

    arXiv
    2609.34052
    发表
    层
    模型层
    场景
    模型与 API
    测试
    EnCodec (24 kHz, 6 kbps)、DAC、SpeechTokenizer 等 5 个
    摘要SAE steering 被用作探测 NAC 说话人属性编码的代理。

    作者用 SAE steering 探测 NAC 表示如何编码说话人属性，目标是可解释性，不是属性转换。

    深度解读完整解读
  17. 可解释性arXiv 2609.04721

    研究：拒答方向可跨架构迁移，安全工具可按写入位置重新估计

    在写入点定位拒答方向，经刚性旋转跨架构迁移并门控放大

    arXiv
    2609.04721
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Falcon-Mamba-7B、Falcon3-Mamba-7B、Llama-3.1-8B 等 8 个
    摘要拒答方向可经刚性旋转跨架构迁移，但必须在各架构的写入点读取。

    作者研究拒答表示是否随架构改变，结论是表示共享、读取位置随架构变。

    深度解读完整解读
  20. 评测与基准arXiv 2609.39473

    FAME：用反事实推理评测自主智能体的虚假记忆

    提出 FAME，用反事实概念漂移评测智能体虚假记忆

    arXiv
    2609.39473
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Llama-3B
    摘要FAME 用反事实引起的隐状态概念漂移，在出答案前区分忠实记忆与虚假记忆。

    FAME 是一个免训练的评测框架，用来判断自主智能体的记忆在虚假相关、环境偏移或知识冲突下是否已变成虚假记忆。。

    深度解读完整解读
加载更多