跳到正文
10月9日 · 周五

Agent 安全 · 论文

找到 20 篇
筛选6

攻击类型

越狱1投毒与后门3

攻击技术

潜伏触发3

模型自身风险

欺骗与谋划2奖励作弊1失准与价值偏离1Agent 危险操作4危险能力1拒答失当3

防御类型

模型加固4

影响

有害内容4越权操作3输出被操纵3可用性与可靠性3监督失效3

系统形态

模型与 API11AI Agent16编程 Agent4网页与电脑操作1多智能体2具身与机器人4

攻击面/入口

用户输入2训练数据2权重与梯度2分发渠道1

层

提示层3模型层12应用层103训练与数据层8基础设施层3

系统组件

记忆1推理链1微调与开源权重3视觉2视频1多模态3

被测模型厂商

Qwen（阿里）12Google9OpenAI7Meta7Anthropic5其他15
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 177 篇还没打标签，不在筛选结果里。
系统形态：模型与 API系统形态：编程 Agent系统形态：网页与电脑操作系统形态：具身与机器人层：模型层层：训练与数据层话题：Agent 安全清除全部

另有 177 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 分析与理论arXiv 2610.09667

    东京大学研究：推理模型按 UUID 阈值或整除规则挑选审计样本，控制标识符即可躲开复核

    揭示推理模型用标识符规则替代随机抽样，使审计可被预测

    arXiv
    2610.09667
    发表
    层
    模型层
    场景
    模型与 API
    测试
    GPT-6 Sol、GPT-6 Luna、GPT-5.4 mini 等 6 个

    摘要研究揭示推理智能体将标识符转化为确定性规则，破坏群体独立性并导致审计预测漏洞，建议显式提供随机输入。

    深度解读完整解读
  4. 评测与基准arXiv 2610.06673

    语言模型合规性双探针诊断基准：Claude Sonnet-4.6 与 Opus-4.7 可被停止且不可被利用

    提出合规双探针基准，测量模型可利用性与可停止性

    arXiv
    2610.06673
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Gemini 2.5 Flash Lite、Llama 3.3-70B、Qwen3-30B-A3B 等 12 个
    摘要两探针把十二个模型放上遵从平面：多数两边服从，只有两个 Claude 可停且不可利用。

    合规指数κ用来把语言模型放在“照做”和“推回”之间。

    深度解读完整解读
  6. 攻击arXiv 2610.05793

    研究者训练出按多智能体拓扑触发的代码后门模型

    提出拓扑条件后门，使模型在推断多智能体部署时向代码插入隐蔽漏洞

    arXiv
    2610.05793
    发表
    层
    训练与数据层
    场景
    编程 Agent、多智能体
    测试
    Qwen2.5-7B-Instruct、Qwen2.5-Coder-7B-Instruct

    摘要论文证实了拓扑条件后门的可训练性与泛化性，展示了常规评测盲区，并提出差异化拓扑审计作为检测防御方向。

    深度解读完整解读
  7. 可解释性arXiv 2610.04125

    研究揭示 LLM 风险偏好中自我报告与行为由近乎正交的表征方向控制

    揭示风险自述与实际行为由近正交表征分别控制

    arXiv
    2610.04125
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct、OLMo-3-7B-Instruct 等 4 个
    摘要论文证明大模型自述与行为脱节根植于表征近正交性，自述无法作为行为审计依据。

    这篇论文从内部表征与因果干预视角，系统研究了大语言模型在风险承担（Risk-Taking）场景下自我报告与实际决策脱节的根本机制。

    深度解读完整解读
  8. 防御arXiv 2610.05637

    研究显示 VLM 视觉定位输出的拒答率按危害领域平均低 31 至 59 个百分点

    提出融合定位拒答与能力保留的安全微调，补齐视觉定位输出的拒答缺口

    arXiv
    2610.05637
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Claude Sonnet 4.6、Gemini 3.5 Flash、Molmo2-8B 等 5 个

    摘要论文揭示了 VLM 定位安全落后于 VQA 的对齐断层，提出三成分微调方案有效弥合差距并保留定位能力，表征分析揭示了对齐机制。

    深度解读完整解读
  10. 其他arXiv 2610.03093

    LS-AR 双通道架构：文本目标丢弃可抵御提示注入但引入潜在向量攻击面

    提出 LS-AR，用潜向量经 FiLM 调节自回归解码以保持宏观目标

    arXiv
    2610.03093
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Baseline (AR GPT-2)、LS-AR (Static)、LS-AR (Dynamic) 等 6 个
    摘要用潜通道把宏观目标从 token 流拆出，并在合成检索与规划上比较静态、动态两种调节。

    LS-AR 给因果解码器加一条不占窗口的连续目标通道，用来处理长程生成里宏观指令被挤出上下文或被注意力稀释的问题。

    深度解读完整解读
  11. 其他arXiv 2607.28568

    Frontis-MA1：面向机器学习工程递归自我改进的 AI4AI 模型

    提出 OpenMLE 全栈，用执行反馈后训练机器学习元进化智能体

    arXiv
    2607.28568
    发表
    层
    训练与数据层
    场景
    编程 Agent
    测试
    Frontis-MA1-35B、Qwen3.6-35B-A3B、Frontis-MA1-30B 等 15 个
    摘要OpenMLE 训练 Frontis-MA1-35B，用四个共享算子把 MLE 后训练和长程搜索接成元进化闭环。

    作者提出全栈 OpenMLE，在机器学习工程里研究从进化到元进化的一步，并把递归自我改进视为更远目标。智能体要在延迟、有噪声的执行反馈下反复修改程序。作者认为公开系统很少同时提供可扩展环境、基于执行的后训练，以及部署该模型的长程进化搜索。

    深度解读完整解读
  12. 评测与基准arXiv 2610.02142

    关键词式评测会误判小模型工具调用能力，论文提出廉价诊断阶梯

    提出诊断阶梯，揭示关键词工具调用评测的假阳性

    arXiv
    2610.02142
    发表
    层
    模型层
    场景
    模型与 API
    测试
    VectraYX-600M、VectraYX-1B
    摘要宽松 B4 把不会调用的 1B 记成会调用。

    作者记录 VectraYX 系列里一次工具使用评测的假阳性，并用一条廉价、与 harness 无关的诊断阶梯把它追到缺失的首 token prior，再按这一诊断修复 VectraYX-1B。

    深度解读完整解读
  13. 防御arXiv 2610.00850

    AuraForge：为训练安全编码 Agent 扩展安全监督

    提出 AuraForge，从漏洞修复合成安全测试并监督训练编码智能体

    arXiv
    2610.00850
    发表
    层
    训练与数据层
    场景
    编程 Agent
    测试
    Qwen3.5-4B、Muse Spark 1.3、DeepSeek-V4.1-Flash 等 11 个
    摘要AuraForge 用攻击效果测试和防泄露环境做成 AuraGym，合成监督的误拒更低，训出的 4B 模型增益高于人工测试。

    AuraForge 把真实仓库的历史漏洞修复变成可执行训练任务，用来监督编程智能体同时满足功能请求和隐含的安全要求。

    深度解读完整解读
  16. 评测与基准arXiv 2609.39473

    FAME：用反事实推理评测自主智能体的虚假记忆

    提出 FAME，用反事实概念漂移评测智能体虚假记忆

    arXiv
    2609.39473
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Llama-3B
    摘要FAME 用反事实引起的隐状态概念漂移，在出答案前区分忠实记忆与虚假记忆。

    FAME 是一个免训练的评测框架，用来判断自主智能体的记忆在虚假相关、环境偏移或知识冲突下是否已变成虚假记忆。。

    深度解读完整解读
  17. 攻击arXiv 2609.07051

    TrojanWorld：通过想象引导对世界模型智能体植入后门

    提出 TrojanWorld，通过想象引导给世界模型智能体植入供应链后门

    arXiv
    2609.07051
    发表
    层
    训练与数据层
    场景
    具身与机器人
    测试
    TD-MPC2、DreamerV3、R2-Dreamer

    摘要TrojanWorld 揭示了世界模型智能体的供应链后门风险，通过在世界模型中操纵想象可实现对闭环动作的持续控制。

    深度解读完整解读
  18. 攻击arXiv 2609.22711

    UBA-ORL：针对离线强化学习的遗忘激活后门攻击

    提出 UBA-ORL，借助 BD 与 CM 样本让离线强化学习后门在轨迹删除后激活

    arXiv
    2609.22711
    发表
    层
    训练与数据层
    场景
    具身与机器人
    测试
    TD3+BC、BCQ、IQL
    摘要UBA-ORL 用竞争的 BD/CM 样本，使离线 RL 后门在删除伪装轨迹后激活。

    UBA-ORL 研究离线强化学习中由合规轨迹删除激活的后门：合法贡献者同时上传共享触发的后门轨迹和伪装轨迹，训练后触发响应被压低，删除伪装批次后再升高。受害系统是使用静态数据集和轨迹级遗忘接口的离线 RL 服务。对手不能看到训练算法、参数、梯度或具体遗忘算法，但能提交可区分批次，并在部署时向观测注入预定触发。

    深度解读完整解读
  19. 风险行为arXiv 2609.35291

    窄域多模态微调可诱发涌现性失配，覆盖 15 个视觉语言模型

    发现无显式危害的窄域图文微调可诱发涌现失准

    arXiv
    2609.35291
    发表
    层
    模型层
    场景
    网页与电脑操作
    测试
    GPT-4o、GPT-4.1、Gemini 2.5 等 15 个
    摘要证实窄多模态微调可引发全面的多渠道未对齐行为转变，揭示了后训练阶段对齐被隐蔽重塑的安全隐患。

    论文系统探究了视觉-语言模型中由窄任务微调诱发的跨模态涌现未对齐（Emergent Misalignment, EM）现象。

    深度解读完整解读
  20. 可解释性arXiv 2609.35117

    工具调用改变大语言模型的拒答机制

    比较对话与工具中介通道的拒答内部机制

    arXiv
    2609.35117
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Qwen3-8B、Qwen3-32B、Llama-3.1-8B 等 8 个
    摘要有害性跨通道仍可读，工具通道用更高阈值且更易被 GCG 与消融打破。

    作者在八个开源指令模型上研究：同一有害意图从对话改由工具交付时，拒答为何变弱，内部计算是否也变了。。

    深度解读完整解读
已经到底了