防御arXiv 2610.12463
论文复盘 OpenAI、Anthropic 与 Google Agent 安全事件并提出 PASAC 框架
提出 PASAC 与五层边界保证栈，把智能体评测越界变成可验证的全系统保证
- arXiv
- 2610.12463
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 防御权限与审批
- 风险Agent 危险操作
- 组件权限与沙箱
全部论文
另有 241 篇论文还没打上分类标签，暂不在筛选结果里。
- 可解释性arXiv 2610.12361
研究：法律推理模型引用法条不等于依据法条
用依据置换与隐层追踪审计法律思维链是否真正依赖所引法条
- arXiv
- 2610.12361
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Qwen3-8B、Qwen3-14B、Llama-3.1-8B 等 7 个
摘要作者通过依据置换反事实与内部承诺追踪发现法律 CoT 裁决对依据依赖度有限，且易受提示注入操纵。
本研究针对法律领域大语言模型思维链推理中引用法律依据的因果真实性展开实证审计。
- 防御arXiv 2610.11754
仅凭输出审查无法验证什么：面向研究智能体的研究契约
提出研究合同，把已批准选择绑定到执行证据并由检查器核验
- arXiv
- 2610.11754
- 发表
- 层
- 应用层
- 被测模型
- OpenAI gpt-5.6-sol、OpenAI gpt-5.6-terra、OpenAI gpt-5.6-luna 等 18 个
摘要研究合同暴露四类输出单独建不立的关系。
研究合同用来核验计算科学研究智能体是否仍在已批准研究之内，不判断科学是否为真。。
- 评测与基准arXiv 2610.11112
EpiReal-Bench：商用图像生成模型虚假声明红队基准
构建 EpiReal-Bench，评测图像生成器将虚假主张渲染为可信证据
- arXiv
- 2610.11112
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 被测模型
- GPT-Image-2、Nano Banana 2、Grok Imagen 2.0 等 4 个
摘要四款商用图像模型能把假主张画成可信证据。
EpiReal-Bench 用来量商用图像生成器会不会把虚假现实主张画成可信视觉证据。
- 分析与理论arXiv 2610.09667
东京大学研究：推理模型按 UUID 阈值或整除规则挑选审计样本，控制标识符即可躲开复核
揭示推理模型用标识符规则替代随机抽样，使审计可被预测
- arXiv
- 2610.09667
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- GPT-6 Sol、GPT-6 Luna、GPT-5.4 mini 等 6 个
- 组件推理链
摘要研究揭示推理智能体将标识符转化为确定性规则，破坏群体独立性并导致审计预测漏洞，建议显式提供随机输入。
- 可解释性arXiv 2610.09087
U-Space：揭示语言模型不确定性何时与为何产生
提出 U-SPACE 与 U-LENS，从残差流估计推理轨迹不确定性
- arXiv
- 2610.09087
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Gemma-4-31B-it、Qwen3.5-27B、Magistral-Small-2507
- 组件推理链
摘要U-SPACE 与 U-LENS 用语义方向和预测熵读推理不确定性，长度控制后仍高于所比基线。
U-SPACE 与 U-LENS 是面向推理模型的无训练读出：用语义方向定位不确定性的形式，并用一个轨迹分数区分更可能错的回答。
- 评测与基准arXiv 2610.08791
研究者发布视频世界模型物理一致性基准 World Models' Last Exam in Physics
提出 World Models' Last Exam 评测视频物理一致性
- arXiv
- 2610.08791
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Seedance-2.5、MiniMax-H3、Cosmos3-Super 等 8 个
- 组件图像生成
- 防御arXiv 2610.08761
VeriFine：通过扩展验证实现具身推理的自我改进
提出 VeriFine，用双环协同扩展验证以实现具身推理自我改进
- arXiv
- 2610.08761
- 发表
- 场景
- 具身与机器人
- 被测模型
- Alpamayo 1.5 8B、Qwen3-VL 2B、Claude Opus 5
摘要VeriFine 用双环协同演化具身推理的策略、课程和评审，驾驶与导航的策略分和评审对齐都上升。
VeriFine 把驾驶和导航推理的自改进写成策略、课程和无参考评审的协同演化，用来处理固定评审跟不上新失败模式的问题。
- 分析与理论arXiv 2610.08178
研究给出潜空间图像水印的鲁棒性上限理论分析
分析潜空间图像水印对像素扰动的内在鲁棒性上限
- arXiv
- 2610.08178
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Stable Diffusion v2-1
摘要作者称当前潜空间水印在低 FPR 下受扩张映射与分布偏移的限制。
- 防御arXiv 2610.08082
POLAR：面向小型工具调用智能体的可逆性护栏框架
提出 POLAR 本体门控，在执行前否决不可逆工具调用
- arXiv
- 2610.08082
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- qwen/qwen3-8b、meta-llama/llama-3.1-8b-instruct、nvidia/nemotron-nano-9b-v2 等 6 个
- 防御权限与审批
- 风险Agent 危险操作
- 组件权限与沙箱
摘要训练无关的事前可逆性门控，弱 airline 模型有收益，强模型与 retail 常回落。
POLAR 是训练无关的事前门控，用类型化本体在工具调用执行前检查能否组成候选逆序列。
- 评测与基准arXiv 2610.07939
CCDF 数据集：Grok Imagine、Veo 3.1、Sora 2 伪造监控录像，十个深伪检测器基本认不出
提出监控深伪基准 CCDF，在统一编码后评测检测器对伪造犯罪事故录像的识别
- arXiv
- 2610.07939
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 被测模型
- C2P-CLIP、ForgeLens、D3-Im 等 10 个
摘要提出消除格式捷径的监控深度伪造基准 CCDF，揭示现有检测器难以识别商用生成视频。
- 评测与基准arXiv 2610.07639
HarnessSecurity-Bench 横向评测六款编码智能体框架的安全机制
评测编码智能体 harness 安全机制在对抗任务中的防护效果
- arXiv
- 2610.07639
- 发表
- 层
- 应用层
- 其他arXiv 2610.07459
论文提出 AI Agent 声明的可审计性框架
提出 AI Agent 主张的可审计性框架与裁决规则
- arXiv
- 2610.07459
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 组件权限与沙箱
摘要主张须事先固定四要素。
作者给出把关于已部署智能体的主张写成可核查陈述的条件，而不是检测器或攻击方法。
- 评测与基准arXiv 2610.07359
论文实测 Agent 工具调用门控栈的失败相关性
提出 nmult 并评测 Agent 动作门禁堆叠的错误相关性
- arXiv
- 2610.07359
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- AgentTrust runtime (174 rules)、GPT-5.5 (gpt55)、claude-haiku-4-5-20251001 等 7 个
- 风险Agent 危险操作
- 组件权限与沙箱
摘要论文实测发现大模型裁判间错误显著相关，作者主张按机制选型并在整栈层面度量防护增益。
论文是一项针对智能体动作拦截防御堆叠故障关联性与实际组合价值的实证测量研究。
- 防御arXiv 2610.07258
AMU：用派生血缘门控实现企业 AI Agent 列级访问控制
提出 AMU 按推导图门控企业 Agent 共享记忆的列级访问
- arXiv
- 2610.07258
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 防御权限与审批
- 风险Agent 危险操作
- 组件记忆
摘要在完整血缘下，AMU 按列权限放行缓存，并标出同名 KPI 冲突。
AMU 用列级推导门控共享记忆，拦截经缓存流出的无权敏感列，并标出同名 KPI 的定义冲突。
- 分析与理论arXiv 2610.06851
研究发现基础模型仅靠固定开头 token 即可达到 RL 级推理表现
证明短开头词可唤醒基模型推理，且效应来自训练数据
- arXiv
- 2610.06851
- 发表
- 场景
- 模型与 API
- 被测模型
- Olmo-3-7B、Olmo-3-32B、Qwen3-4B 等 10 个
- 组件推理链
- 评测与基准arXiv 2610.06503
研究评测五款开源文生图模型的有害内容生成与审核缺口
评测文生图模型的有害内容生成能力与审核检测缺口
- arXiv
- 2610.06503
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- SDXL、Stable Diffusion 3.5 Large、FLUX.1-dev 等 12 个
- 评测与基准arXiv 2610.06366
VERA：结构化审计发现约 60% 正确漏洞判定伴随虚构推理
提出 VERA，审计 LLM 漏洞解释里的虚构推理
- arXiv
- 2610.06366
- 发表
- 层
- 模型层
- 被测模型
- sonnet-5、gemma-4-26b、llama-4-maverick 等 8 个
- 评测与基准arXiv 2610.05840
研究：任务范围授权可将工具调用有害执行降至零
用配对回放评测任务范围授权能否阻断越权工具执行
- arXiv
- 2610.05840
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Llama 3.2 3B Instruct Q4 K M、Qwen3 4B Instruct、Gemma 3 4B 等 8 个
- 攻击arXiv 2610.05601
Tracer 框架可从遗忘后的扩散模型中识别被擦除概念
提出 TRACER，从权重差识别扩散模型被擦除概念
- arXiv
- 2610.05601
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 攻击者
- 白盒
- 被测模型
- Stable Diffusion v1.5、Stable Diffusion 3、FLUX.1 等 5 个
摘要TRACER 用权重足迹识别未披露擦除概念并估计个数，作者称数秒内完成且准确率高于对照。
TRACER 针对的是遗忘扩散模型上的目标识别：提供者从公开基座 W 用已发表方法擦掉未知集合 S⋆，只发布 W′。攻击者还有假定包含这些概念的词表，但不知擦了谁、擦了几个、用了什么算法。