跳到正文
10月9日 · 周五

全部论文

找到 27 篇
筛选8

攻击类型

越狱4提示注入2投毒与后门3模型篡改1提取与窃取1检测规避1恶意使用1

攻击技术

编码与混淆1潜伏触发2

模型自身风险

欺骗与谋划6失准与价值偏离1Agent 危险操作2拒答失当2幻觉与编造1

防御类型

推理时干预2检测与过滤1指令与数据隔离1权限与审批1监控与审计13

影响

有害内容6越权操作5数据与隐私泄露2输出被操纵3可用性与可靠性1监督失效8

系统形态

模型与 API20LLM 应用3AI Agent90编程 Agent24网页与电脑操作7多智能体12具身与机器人3

攻击者权限

黑盒1白盒1

攻击面/入口

用户输入5网页与界面2文档与消息1记忆写入2图像与音视频1权重与梯度2分发渠道2推理服务与硬件1

层

提示层5模型层19应用层8训练与数据层3

系统组件

MCP 与技能2记忆6护栏与评审8监控器18推理链18权限与沙箱2微调与开源权重9视觉25音频9视频0图像生成12嵌入3多模态44
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 443 篇还没打标签，不在筛选结果里。
系统形态：模型与 API系统形态：网页与电脑操作层：模型层层：应用层系统组件：记忆系统组件：监控器系统组件：视频系统组件：嵌入清除全部

另有 443 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 攻击arXiv 2604.02623

    论文提出 eTAMP 攻击：网页内容注入可跨会话污染 Web Agent 记忆

    提出 eTAMP，通过网页注入跨会话污染 Web 智能体轨迹记忆

    arXiv
    2604.02623
    发表
    层
    应用层
    场景
    网页与电脑操作
    摘要论文提出了基于环境注入的跨任务记忆投毒攻击 eTAMP，作者报告智能体在环境压力下易感性增加且能力与安全并不协同。

    该论文评估了基于大语言模型的 Web 智能体在利用历史交互轨迹进行记忆增强时的安全脆弱性。

    深度解读完整解读
  3. 防御arXiv 2610.07774收录

    研究者提出读取路由 logits 的 MoE 视觉语言模型多模态安全检测器

    AI 导读研究者提出一种轻量级路由 logits 安全检测器，在提示词预填充阶段读取 MoE 视觉语言模型的专家路由信号，在生成前判断多模态请求是否安全，且不修改模型参数或专家路由。

    arXiv
    2610.07774
    收录
    层
    模型层
    场景
    模型与 API
    摘要读出而非操纵 router logits，可在不改模型的情况下降低两模型的组合式安全错误。

    作者在两个指令微调 MoE VLM 上比较改模型与读路由。组合式风险按 HoliSafe 分成五类：图文各自可安全，合在一起才不安全，或不安全内容只在图像里。

    深度解读完整解读
  5. 评测与基准arXiv 2610.04575

    论文提出 Operational Validity Contract，审计激活监控从探针分数到告警策略的有效性

    提出操作有效性契约，审计激活监控的告警策略

    arXiv
    2610.04575
    发表
    层
    应用层
    场景
    网页与电脑操作
    摘要论文建立从探针得分到警报策略的审计框架，实证表明高 AUROC 不等于部署有效性，仅支持受限预测价值。

    这篇论文系统评估了大模型智能体激活监控器从离线探针得分向在线警报策略跨越时的统计与操作有效性。

    深度解读完整解读
  6. 评测与基准arXiv 2610.02741

    研究系统评估循环语言模型的思维链可监控性

    系统评估循环语言模型加深 loop 后的 CoT 可监控性

    arXiv
    2610.02741
    发表
    层
    模型层
    场景
    模型与 API
    摘要加深 loop 可在部分压力测试任务降低可监测性，循环架构本身并不必然更难监测。

    这项工作评估 LoopLM 的 CoT 可监测性：加深共享层的重复次数，以及“有循环结构”本身，会不会让决策关键因素更少出现在可监测文本里。

    深度解读完整解读
  8. 防御arXiv 2608.05578

    AMS 工具通过激活分析检测语言模型的安全训练改动

    提出 AMS，用激活分离与方向相似度检测安全训练改动

    arXiv
    2608.05578
    发表
    层
    模型层
    场景
    模型与 API
    摘要AMS 按激活签名把安全改动分四类，前三类可由两级扫描覆盖，行为微调会漏。

    AMS 是面向开放权重模型、部署前使用的激活扫描器，用来看安全训练被拿掉或改写之后，激活空间里还留着什么几何痕迹。

    深度解读完整解读
  10. 评测与基准arXiv 2608.18066

    Salesforce AI Research 重测自改进 Agent

    重测记忆型自改进智能体，揭示任务顺序和多次运行带来的性能不稳

    arXiv
    2608.18066
    发表
    层
    应用层
    场景
    网页与电脑操作
    摘要论文揭示了基于记忆的自改进智能体在多次运行和乱序下的脆弱性，并指出规约不完备是诱发退化的关键瓶颈。

    这篇论文是对基于文本记忆的自我改进智能体在复杂环境中评估可靠性的实证研究。

    深度解读完整解读
  11. 防御arXiv 2607.14737

    GeoDetect：面向视觉语言预训练模型的几何对抗检测方法

    提出 GeoDetect 以几何分数检测视觉语言预训练模型的对抗样本

    arXiv
    2607.14737
    发表
    层
    模型层
    场景
    模型与 API
    攻击者
    白盒
    摘要GeoDetect 用几何分数检测 VLP 对抗样本。

    GeoDetect 是面向视觉-语言预训练模型的对抗样本检测方法，用嵌入几何而不是任务 logits 区分干净样本与对抗样本。

    深度解读完整解读
  13. 分析与理论arXiv 2609.37312

    研究：隐蔽推理必然留下信息痕迹，但思维链未必可读

    分析隐蔽推理在思维链监控下的信息足迹下界与不可读性

    arXiv
    2609.37312
    发表
    层
    模型层
    场景
    模型与 API

    摘要论文从理论与实证探明了思维链监控的边界：复杂隐蔽计算必然泄露信息足迹且需承担长度税，但该足迹可被在线加密而不可读。

    深度解读完整解读
  15. 可解释性arXiv 2609.04721

    研究：拒答方向可跨架构迁移，安全工具可按写入位置重新估计

    在写入点定位拒答方向，经刚性旋转跨架构迁移并门控放大

    arXiv
    2609.04721
    发表
    层
    模型层
    场景
    模型与 API
    摘要拒答方向可经刚性旋转跨架构迁移，但必须在各架构的写入点读取。

    作者研究拒答表示是否随架构改变，结论是表示共享、读取位置随架构变。

    深度解读完整解读
  18. 可解释性arXiv 2609.09575

    MonoTM：用可解释单义特征做主题建模，超越关键词表示

    提出 MonoTM，用 SAE 单义特征估计文档主题混合并生成主题描述

    arXiv
    2609.09575
    发表
    层
    模型层
    场景
    模型与 API
    摘要MonoTM 分开估计混合与解释主题，三套基准上二者偏好的 SAE 配置不同。

    MonoTM 是建在文档嵌入 SAE 上的可解释主题模型：混合估计用全部 SAE 特征，主题描述只用另一套配置里通过验证的语义特征。

    深度解读完整解读
  20. 评测与基准arXiv 2609.39473

    FAME：用反事实推理评测自主智能体的虚假记忆

    提出 FAME，用反事实概念漂移评测智能体虚假记忆

    arXiv
    2609.39473
    发表
    层
    模型层
    场景
    模型与 API
    摘要FAME 用反事实引起的隐状态概念漂移，在出答案前区分忠实记忆与虚假记忆。

    FAME 是一个免训练的评测框架，用来判断自主智能体的记忆在虚假相关、环境偏移或知识冲突下是否已变成虚假记忆。。

    深度解读完整解读
加载更多