防御arXiv 2610.12463
论文复盘 OpenAI、Anthropic 与 Google Agent 安全事件并提出 PASAC 框架
提出 PASAC 与五层边界保证栈，把智能体评测越界变成可验证的全系统保证
- arXiv
- 2610.12463
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 防御权限与审批
- 风险Agent 危险操作
- 组件权限与沙箱
全部论文
另有 201 篇论文还没打上分类标签，暂不在筛选结果里。
- 可解释性arXiv 2610.11986
FearCaut-Qwen：激活引导改变视觉语言模型的风险判定标准
用恐惧激活转向检验视觉语言模型的隐患判定准则
- arXiv
- 2610.11986
- 发表
- 层
- 模型层
- 场景
- LLM 应用
- 被测模型
- Qwen/Qwen2.5-VL-7B-Instruct
- 组件视觉
- 防御arXiv 2610.11942
LGWM：用动作条件世界模型验证 GUI 智能体的屏幕转移
提出 LGWM，用动作条件世界模型核验 GUI 智能体屏幕转移
- arXiv
- 2610.11942
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 被测模型
- LGWM
- 防御arXiv 2610.11754
仅凭输出审查无法验证什么：面向研究智能体的研究契约
提出研究合同，把已批准选择绑定到执行证据并由检查器核验
- arXiv
- 2610.11754
- 发表
- 层
- 应用层
- 被测模型
- OpenAI gpt-5.6-sol、OpenAI gpt-5.6-terra、OpenAI gpt-5.6-luna 等 18 个
摘要研究合同暴露四类输出单独建不立的关系。
研究合同用来核验计算科学研究智能体是否仍在已批准研究之内，不判断科学是否为真。。
- 可解释性arXiv 2610.10865
用路由稀疏自编码器解耦语音编码器中的语言学与副语言学信息
提出路由 TopK SAE，把语音编码器稀疏码拆成语言与副语言通路
- arXiv
- 2610.10865
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- SPEAR XLarge、WavLM Large
- 组件音频
摘要路由 SAE 在冻结 SPEAR 与 WavLM 上分开语言和副语言因子，探针与交换支持通路分工。
TopK SAE 的稀疏码被分成语言通路与副语言通路，用来分开冻结语音编码器里同时存在的音素信息和说话人、情感、韵律。只重构不能得到作者选定的这一分解。语言通路由音素识别监督，副语言通路由说话人识别、情感分类和韵律预测监督，作用在对方通路上的梯度反转对抗用来压低交叉因子。
- 攻击arXiv 2610.09920
研究：多向量视觉文档索引可被反演还原页面内容
提出流匹配逆向框架，从多向量视觉文档索引重构页面
- arXiv
- 2610.09920
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- Tomoro-ColQwen3-8B、ColQwen3.5-4.5B、Tomoro-colqwen3-embed-4b 等 13 个
- 防御arXiv 2610.09703
研究揭示 Token-Pruning 对 VLM 安全性的影响并提出 SAP 缓解机制
提出 Safety-Aware Pruning，缓解视觉 token 剪枝放大的多模态越狱
- arXiv
- 2610.09703
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 被测模型
- LLaVA-1.5-7B
摘要剪枝去掉背景 token 后注意力塌向恶意前景。
这篇工作评估视觉 token 剪枝如何改变 VLM 在多模态越狱下的行为，并给出推理时防御 SAP。
- 分析与理论arXiv 2610.09517
审计发现 CLIP 安全分数主要反映画面与提示词场景的相似度
开环审计冻结视觉语言安全分，发现其反映场景模板而非危险感知
- arXiv
- 2610.09517
- 发表
- 层
- 模型层
- 场景
- 具身与机器人
- 被测模型
- CLIP ViT-B/32、CLIP ViT-L/14、Qwen2-VL-7B
- 组件视觉
摘要论文审计了冻结 VLM 安全评分机制，指出其反映场景模板而非危险感知，为安全强化学习评估提供了严谨基准。
本文是一项针对安全强化学习中冻结视觉语言模型（VLM）安全评分机制的实证审计研究。
- 防御arXiv 2610.09469
Secure-CUA：约束计算机使用智能体中不可信内容的影响
提出 Secure-CUA，用动作事务约束计算机使用智能体的不可信影响
- arXiv
- 2610.09469
- 发表
- 层
- 应用层
- 被测模型
- Claude Opus 5、Gemini 3.8 Flash、GPT-5.6-Sol
摘要Secure-CUA 用每步事务约束不可信影响，良性 TSR 接近 Vanilla-CUA。
Secure-CUA 要限制图形界面里不可信内容对 CUA 决策和 GUI 执行的影响，同时保留合法任务所需的不可信信息。
- 攻击arXiv 2610.09240
WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作
提出 WebMirage，用局部对抗图像劫持视觉网页 Agent 的浏览器操作
- arXiv
- 2610.09240
- 发表
- 层
- 应用层
- 被测模型
- LLaVA-v1.5-13B、LLaVA-v1.6-34B、MiniCPM-o-8B 等 6 个
摘要论文提出了针对网络智能体的端到端视觉红队框架 WebMirage，揭示了从视觉定位到浏览器执行的安全脆弱性。
WebMirage 是一个面向视觉定位网络智能体的流水线感知端到端红队攻击框架。
- 攻击arXiv 2610.09027
P-VMI：对抗图像经 KV cache 持续影响多轮对话
提出持久视觉记忆注入，使对抗图像经缓存在触发时操控输出
- arXiv
- 2610.09027
- 发表
- 场景
- 模型与 API
- 被测模型
- Qwen3-8B、Qwen3-VL-8B-Instruct、Gemma-4-12B
摘要论文提出 P-VMI，证实对抗输入被掩蔽后仍可经 KV 缓存持久控制模型，强调了保留状态的安全风险。
- 评测与基准arXiv 2610.08791
研究者发布视频世界模型物理一致性基准 World Models' Last Exam in Physics
提出 World Models' Last Exam 评测视频物理一致性
- arXiv
- 2610.08791
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Seedance-2.5、MiniMax-H3、Cosmos3-Super 等 8 个
- 组件图像生成
- 评测与基准arXiv 2610.08902
论文提出 agent plasticity 指标衡量智能体通过经验自我改进的效率
提出 agent plasticity 指标衡量智能体通过经验自我改进的效率
- arXiv
- 2610.08902
- 发表
- 层
- 应用层
- 被测模型
- Claude Fable 5、Claude Opus 5、GPT-5.6 Sol 等 10 个
- 组件记忆
摘要作者用固定权重协议比较前沿模型把经验写成制品后的留出增益与习得效率。
作者用 agent plasticity 衡量一件事：权重冻结时，智能体把经验写成可继承制品，再换成留出能力增益，这个转换有多省。
- 评测与基准arXiv 2610.08585
研究：无关信息污染患者病历并干扰 LLM 临床推理
构建 MedDistract 基准，测量偶发信息对临床文书与推理的污染
- arXiv
- 2610.08585
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- GPT-5.4、GPT-5.6 Sol、Claude Opus 5 等 9 个
- 评测与基准arXiv 2610.08215
Learn2Play Bench 发布：用规则陌生的文本游戏评测 LLM Agent 从经验中学习的能力
用 Learn2Play Bench 评测 Agent 从经验中学习陌生规则
- arXiv
- 2610.08215
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Claude Opus 5.5、GPT-6 Astra、Claude Opus 5 等 11 个
- 组件记忆
摘要用隐藏规则游戏把新学习与预训练知识分开，并比较模型、记忆方式和人类。
Learn2Play Bench 用新设计的隐藏规则文本游戏，评测 LLM 智能体在不更新权重时从交互中学习的能力。
- 分析与理论arXiv 2610.08178
研究给出潜空间图像水印的鲁棒性上限理论分析
分析潜空间图像水印对像素扰动的内在鲁棒性上限
- arXiv
- 2610.08178
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Stable Diffusion v2-1
摘要作者称当前潜空间水印在低 FPR 下受扩张映射与分布偏移的限制。
- 防御arXiv 2610.08082
POLAR：面向小型工具调用智能体的可逆性护栏框架
提出 POLAR 本体门控，在执行前否决不可逆工具调用
- arXiv
- 2610.08082
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- qwen/qwen3-8b、meta-llama/llama-3.1-8b-instruct、nvidia/nemotron-nano-9b-v2 等 6 个
- 防御权限与审批
- 风险Agent 危险操作
- 组件权限与沙箱
摘要训练无关的事前可逆性门控，弱 airline 模型有收益，强模型与 retail 常回落。
POLAR 是训练无关的事前门控，用类型化本体在工具调用执行前检查能否组成候选逆序列。
- 其他arXiv 2610.08048
DAEDALUS：用自生成任务自举 Agent 记忆
提出 DAEDALUS，用自生成任务自举 Agent 记忆
- arXiv
- 2610.08048
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- GPT-5.4-mini、GPT-5.6 Luna、Qwen3.6-35B-A3B 等 11 个
- 组件记忆
- 防御arXiv 2610.07774
研究者提出读取路由 logits 的 MoE 视觉语言模型多模态安全检测器
研究者提出一种轻量级路由 logits 安全检测器，在提示词预填充阶段读取 MoE 视觉语言模型的专家路由信号，在生成前判断多模态请求是否安全，且不修改模型参数或专家路由。
- arXiv
- 2610.07774
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Qwen3-VL-30B-A3B-Instruct、Kimi-VL-A3B-Instruct
摘要读出而非操纵 router logits，可在不改模型的情况下降低两模型的组合式安全错误。
作者在两个指令微调 MoE VLM 上比较改模型与读路由。组合式风险按 HoliSafe 分成五类：图文各自可安全，合在一起才不安全，或不安全内容只在图像里。
- 防御arXiv 2610.07657
DEFER1 多智能体防御研究报告受控测试中的攻击成功率下降
实现 DEFER，以确定性检查优先拦截多智能体流水线的内容攻击
- arXiv
- 2610.07657
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 被测模型
- Qwen3-235B-A22B-Instruct-2507、gpt-oss-120b、Llama-4-Scout-17B-16E-Instruct 等 5 个
摘要DEFER 把确定性检查放在 judge 之前。
DEFER 用来测量多智能体授权流水线里，确定性规则在何处结束、LLM judge 从何处开始。