评测与基准arXiv 2609.22076
APort Vault 发布：用 4,371 条人工攻击评测 AI Agent 支付授权
提出 APort Vault，评测支付智能体授权层对越权转账的拦截
- arXiv
- 2609.22076
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Claude Fable 5.1、Claude Sonnet 5、Claude Haiku 4.5 等 14 个
- 评测与基准arXiv 2610.02664
论文提出 GHOST：长程智能体在良性对话中遗忘早期安全约束
提出 STAR-Guard 双层防御缓解长程智能体遗忘安全约束
- arXiv
- 2610.02664
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- GPT-5.5、DeepSeek-V4-Pro、GLM-5.2 等 7 个
- 防御权限与审批
- 风险Agent 危险操作
- 组件权限与沙箱
摘要揭示 GHOST 跨轮约束遗忘风险，构建 SCARBench 基准并通过 STAR-Guard 双层防御消除违规。
- 评测与基准arXiv 2608.08542
SkillSafe-Bench：技能合并模型静态安全无法预测自适应越狱鲁棒性
评测技能合并模型的自适应越狱鲁棒性，并提出子空间投影防御
- arXiv
- 2608.08542
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 攻击者
- 白盒
- 测试
- Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct、Mistral-7B-Instruct-v0.3 等 6 个
摘要论文报告了技能合并大模型在静态安全与自适应越狱间的脱节，提出了评测基准与无数据子空间投影修复方法。
本研究针对开源语言模型技能合并过程中的安全评估盲区，系统评测并刻画了合并大模型在自适应越狱攻击下的脆弱性特征。
- 评测与基准arXiv 2609.05797
论文发现安全监控器主要拦截模型本就会拒答的请求
构建明确度梯级并做守卫微调，以拦住模型会回答的有害请求
- arXiv
- 2609.05797
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Gemma-4-31B-IT、Qwen3-32B、Llama Guard 3 8B 等 6 个
摘要论文发现安全监视器大多拦截模型已拒答请求，指出明确度偏差是共性原因，并通过双侧梯级微调提升回答请求的召回表现。
- 评测与基准arXiv 2609.08943
研究提出 Fact-Ablated Evaluation，揭示 LLM 事实核查更依赖参数知识
提出 FAE 衡量事实核查对证据的依赖，并用 REAL 训练这种依赖
- arXiv
- 2609.08943
- 发表
- 场景
- 模型与 API
- 测试
- GPT-4o-mini、Gemini-2.5-flash-lite、Qwen-2.5-32B-Instruct 等 7 个
- 防御模型加固
摘要FAE 用多轮证据消融测接地，REAL 用对比监督让判决随证据可用性改变。
FAE 与 REAL 分别用来测量并训练 LLM 事实核查器对所给证据的依赖，而不只看一次性的标签准确率。
- 评测与基准arXiv 2609.40286
研究者提出 COVER：在语言预算下选择源语言实现跨语言遗忘
提出 COVER，在语言预算下选择源语言实现跨语言知识遗忘
- arXiv
- 2609.40286
- 发表
- 场景
- 模型与 API
- 测试
- Tiny Aya Global、Qwen3-4B-Instruct-2507、Llama-3.2-3B-Instruct
摘要COVER 在语言预算下选源语言，以降低未监督语言上相对 oracle 的残余访问。
语言预算下的多语言遗忘：遗忘监督只放在 K 种源语言上，目标是降低其余语言对同一事实的残余访问，而不是把每种评测语言都译成监督数据。
已经到底了