防御arXiv 2610.12463
论文复盘 OpenAI、Anthropic 与 Google Agent 安全事件并提出 PASAC 框架
提出 PASAC 与五层边界保证栈，把智能体评测越界变成可验证的全系统保证
- arXiv
- 2610.12463
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 防御权限与审批
- 风险Agent 危险操作
- 组件权限与沙箱
全部论文
另有 332 篇论文还没打上分类标签，暂不在筛选结果里。
- 可解释性arXiv 2610.12361
研究：法律推理模型引用法条不等于依据法条
用依据置换与隐层追踪审计法律思维链是否真正依赖所引法条
- arXiv
- 2610.12361
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Qwen3-8B、Qwen3-14B、Llama-3.1-8B 等 7 个
摘要作者通过依据置换反事实与内部承诺追踪发现法律 CoT 裁决对依据依赖度有限，且易受提示注入操纵。
本研究针对法律领域大语言模型思维链推理中引用法律依据的因果真实性展开实证审计。
- 攻击arXiv 2610.12292
论文提出选项通道攻击：改一个选项标签即可让 Agent 护栏放行违规操作
提出选项通道攻击，重命名选项标签使 Agent 护栏放行违规操作
- arXiv
- 2610.12292
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 攻击者
- 黑盒
- 被测模型
- LAYA-TD、LAYA-EN、LAYA-ML 等 5 个
摘要作者评估指出类型化模型不应作为最终安全裁决者，其易受非策略文本与选项名称操控，且置信度过滤无法抵御攻击。
- 攻击arXiv 2610.11932
复旦团队测量 AI 搜索引用脆弱性：普通发帖可进入引用与答案文本
测量 AI 搜索引用脆弱性，证明普通公开发帖可进入引用与回答
- arXiv
- 2610.11932
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- Grok、Doubao、ChatGPT 等 10 个
摘要作者称论文量化了 AI 搜索因引用偏好与低发帖门槛形成的漏洞，测试显示公开网络发帖可渗透 AI 引用，呼吁审计引用供应链。
- 防御arXiv 2610.11464
研究者提出可检查评分器与自改进 Agent 共同演化方法
演化可检查评分器并与自改进 Agent 共同演化，抑制奖励作弊
- arXiv
- 2610.11464
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Claude Opus 4.7
摘要十项锚点演化可检查评分器。
开放任务没有验证器时，被演化的是评分器，而不是再补一条手写 rubric。
- 攻击arXiv 2610.10742
BRANCH 方法绕过 6 套多扫描器护栏系统
提出 BRANCH 方法，用分支搜索绕过多扫描器护栏
- arXiv
- 2610.10742
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 攻击者
- 黑盒
- 被测模型
- Meta Llama Guard 3 8B、Meta Llama Guard 7B、Meta Llama Guard 3 1B 等 18 个
- 分析与理论arXiv 2610.10657
研究显示隐蔽学习可传递新能力、后门与作弊倾向
检验潜意识学习能否经无关数据蒸馏传递能力、后门与作弊
- arXiv
- 2610.10657
- 发表
- 场景
- 模型与 API
- 被测模型
- Qwen3.6-35B-A3B、Qwen3.5-9B、Qwen3.6-27B 等 4 个
- 风险奖励作弊
摘要作者报告潜意识学习可传递新技能、后门与作弊倾向，且分布外泛化强于单层转向向量。
- 评测与基准arXiv 2610.10358
Open-MMUnlearning 发布：统一多模态大模型遗忘方法与评测框架
提出统一框架评测多模态大模型的遗忘方法
- arXiv
- 2610.10358
- 发表
- 场景
- 模型与 API
- 被测模型
- LLaVA-1.5-7B
- 防御arXiv 2610.10345
SLDR：通过选择性层恢复与动态路由防御恶意微调
提出 SLDR，用选择性层恢复与动态路由防御恶意微调
- arXiv
- 2610.10345
- 发表
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 被测模型
- Llama3.1-8B-Instruct、Llama3-8B-Instruct、Qwen2.5-7B-Instruct 等 4 个
摘要作者称 SLDR 能压低有害输出并保持下游效用。
SLDR 是针对恶意微调的微调后防御：在已对齐模型上做有符号层探测，只在敏感分数最大与最小的两层训练 LoRA，再用 lmax 的最后 token 表示决定是否启用适配器。
- 评测与基准arXiv 2610.10310
RSIGym：预算约束下的 AI 研究智能体评测环境与 RSI-Index 指标
提出 RSIGym 环境，评测研究智能体的递归自改进
- arXiv
- 2610.10310
- 发表
- 层
- 应用层
- 被测模型
- Claude Opus 5、Claude Opus 5.5、GPT-6 Astra 等 9 个
- 风险危险能力
- 评测与基准arXiv 2610.10276
PatchBench 提出激活补丁局部评测协议，揭示越狱修复的附带损伤
提出 PatchBench-Local 协议，评测激活补丁修复越狱的局部附带损伤
- arXiv
- 2610.10276
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Qwen2.5-3B-Instruct、Qwen2.5-14B-Instruct、gemma-3-4b-it 等 8 个
摘要论文提出 PatchBench 与局部评估协议，揭示了激活补丁在全局能力无损下仍存局部良性退化。
- 分析与理论arXiv 2610.10203
研究者提出模型生物体多目标验证框架并给出训练建议
提出模型生物多目标验证与合并训练方法以减少能力损伤
- arXiv
- 2610.10203
- 发表
- 场景
- 模型与 API
- 被测模型
- gemma-2-2b-it、olmo-2-1b、llama-3.1-8b-it
摘要提出多目标验证框架与模型合并训练法，证明模型真实度直接影响可解释性评测。
本论文提出了一种针对 AI 安全评测用模型生物（Model Organisms）的多目标训练与验证体系。
- 评测与基准arXiv 2610.10150
论文指出 LLM 漏洞修复基准可靠性受评测设计影响
用对照实验隔离评测设计对漏洞补丁基准得分的影响
- arXiv
- 2610.10150
- 发表
- 层
- 应用层
- 被测模型
- Claude Sonnet 4.0、Claude Sonnet 4.5、Claude Opus 4.7
摘要作者认为评测流水线会改变补丁基准分数，PoC 通过率高于开发者测试通过率。
作者把 LLM 漏洞补丁基准的评测流水线当作会改变测量结果的对象，并明确说本文不是再做一个用于排名的基准。
- 其他arXiv 2610.10064
研究者提出理解审计机制，以缓解自动化 AI 研究带来的风险
提出 comprehension audits，以人类理解证据作为继续研发门槛
- arXiv
- 2610.10064
- 发表
摘要理解审计把出示人类理解设为继续研发的门禁，并报告开源评审评论率下降。
本文是一份研发过程保障提案：用 comprehension audits 检验责任人是否理解 AI 参与产生的研发贡献，未达标就暂停后续开发与依赖该贡献的发布。。
- 评测与基准arXiv 2610.10062
研究：Agent 更依赖工具报错通道
测量工具调用 Agent 对显式报错与静默损坏的检测和恢复
- arXiv
- 2610.10062
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- claude-haiku-4.5-thinking、claude-haiku-4.5、deepseek-r1 等 6 个
摘要作者称智能体看错误通道而非返回内容，静默损坏更少被当作问题。
作者在 BFCL 多轮可执行环境上注入一次工具层故障，把注意到、改计划、恢复和重复分开记分，而不是只看任务有没有做完。
- 攻击arXiv 2610.10000
超越奖励压制：有界奖励热启动 Bandit 的近最优离线攻击
提出热启动 Bandit 的部署前有界离线注入攻击
- arXiv
- 2610.10000
- 发表
- 场景
- LLM 应用
- 被测模型
- UCB、Thompson Sampling、ϵ-greedy
- 攻击投毒与后门
- 攻击arXiv 2610.09973
从期望危害到似然：LLM 智能体越狱的概率重构
提出 OPUR 攻击，用似然梯度优化对抗后缀越狱 LLM 智能体
- arXiv
- 2610.09973
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 攻击者
- 白盒
- 被测模型
- Llama-3.1-8B-Instruct、Ministral-8B-Instruct-2410
- 评测与基准arXiv 2610.09964
研究比较连续训练阶段对大语言模型说服力的影响
比较连续后训练阶段如何改变语言模型的说服力
- arXiv
- 2610.09964
- 发表
- 场景
- 模型与 API
- 被测模型
- mlabonne/Meta-Llama-3.1-8B-Instruct-abliterated、GPT-4
- 风险危险能力
摘要作者称说服性 SFT 提高失调模型的态度变化，IPO 无额外收益，GPT-4 不异于中性文本。
作者用同一人类协议，把 LLM 说服力拆成阴谋数据上的失调 SFT、说服数据上的 SFT，以及其后的 IPO。
- 评测与基准arXiv 2610.09944
AgentTime 基准测试智能体时长遵循能力，GPT-6 Astra 出现 14 次做完后休眠
提出 AgentTime 基准，评测智能体按时长工作与估时能力
- arXiv
- 2610.09944
- 发表
- 层
- 应用层
- 被测模型
- Fable 5.1、GPT-5.6 Sol、GPT-6 Astra 等 7 个
摘要作者把完成任务和管理所用时间分开。
AgentTime 是对智能体时间自控的评测：预测任务耗时、按要求时长工作、事后估计已用时间。
- 防御arXiv 2610.09941
OrthoPurify 用一步正交投影净化被后门污染的视觉语言模型
提出 OrthoPurify，用正交投影清除视觉语言模型适配器中的劫持方向
- arXiv
- 2610.09941
- 发表
- 场景
- 模型与 API
- 被测模型
- LLaVA-1.5-7B、Qwen3-VL-8B、LLaVA-1.5-13B 等 5 个
摘要一次投影去掉劫持方向。
OrthoPurify 是部署前的 LVLM 后门净化方法，用一次正交投影去掉被劫持的权重更新方向。