攻击arXiv 2610.12292
论文提出选项通道攻击：改一个选项标签即可让 Agent 护栏放行违规操作
提出选项通道攻击，重命名选项标签使 Agent 护栏放行违规操作
- arXiv
- 2610.12292
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 攻击者
- 黑盒
- 被测模型
- LAYA-TD、LAYA-EN、LAYA-ML 等 5 个
摘要作者评估指出类型化模型不应作为最终安全裁决者，其易受非策略文本与选项名称操控，且置信度过滤无法抵御攻击。
- 评测与基准arXiv 2610.10947
RH-Detect：统一的奖励作弊检测基准发布
构建统一奖励作弊检测基准 RH-Detect 并评测零样本检测器
- arXiv
- 2610.10947
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- Qwen 3.5 Flash、Gemini 3.1 Flash Lite、Grok 4.1 Fast 等 7 个
- 攻击arXiv 2610.10742
BRANCH 方法绕过 6 套多扫描器护栏系统
提出 BRANCH 方法，用分支搜索绕过多扫描器护栏
- arXiv
- 2610.10742
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 攻击者
- 黑盒
- 被测模型
- Meta Llama Guard 3 8B、Meta Llama Guard 7B、Meta Llama Guard 3 1B 等 18 个
- 防御arXiv 2610.08761
VeriFine：通过扩展验证实现具身推理的自我改进
提出 VeriFine，用双环协同扩展验证以实现具身推理自我改进
- arXiv
- 2610.08761
- 发表
- 场景
- 具身与机器人
- 被测模型
- Alpamayo 1.5 8B、Qwen3-VL 2B、Claude Opus 5
摘要VeriFine 用双环协同演化具身推理的策略、课程和评审，驾驶与导航的策略分和评审对齐都上升。
VeriFine 把驾驶和导航推理的自改进写成策略、课程和无参考评审的协同演化，用来处理固定评审跟不上新失败模式的问题。
- 评测与基准arXiv 2610.08571
RAG-PIBench：可信 RAG 系统中提示注入检测的泄漏感知基准
提出 RAG-PIBench，评测 RAG 上下文中提示注入检测器
- arXiv
- 2610.08571
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- DistilBERT-base-uncased、DeBERTa-v3-base、MiniLM
- 评测与基准arXiv 2610.07519
论文提出针对手语翻译与儿童安全过滤交叉地带的部署前审计框架
提出手语转文本接入儿童安全过滤的部署前审计协议
- arXiv
- 2610.07519
- 发表
- 层
- 应用层
- 场景
- LLM 应用
摘要作者提议聋人知情的部署前审计，以检查手语转文本是否改变儿童安全决策。
手语儿童到达基于文本的儿童安全机制时，机制看到的是机器翻译，不是儿童所做的手语。作者要解决的是：这条边界在部署前应如何审计。
- 防御arXiv 2610.05870
MBZUAI 提出可校准的真实图像认证方法
提出校准重合成方法，以生成器反演保真度认证真实图像并防御对抗扰动
- arXiv
- 2610.05870
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 攻击者
- 白盒
摘要论文提出基于反演保真度与阈值校准的健全认证框架，在对抗扰动下维持错误率界限，并指出真实内容可认证性随生成器演进而萎缩。
- 评测与基准arXiv 2610.05818
研究显示 VLA 模型文本护栏漏检隐含危害指令
评测文本守卫与激活探针能否拦住机器人隐含伤害指令
- arXiv
- 2610.05818
- 发表
- 层
- 提示层
- 场景
- 具身与机器人
- 被测模型
- π0.5、OpenVLA-OFT、Llama Guard 3 等 10 个
- 风险Agent 危险操作
- 组件护栏与评审
- 防御arXiv 2610.04412
论文研究 LLM 数字孪生参与增强民主时的提示注入脆弱性
提出检测、结构化与 GSPO 流程，降低共识生成的提示注入错位
- arXiv
- 2610.04412
- 发表
- 层
- 应用层
- 被测模型
- LLaMA-2 7B、LLaMA-3 8B、GPT 3.5 Turbo 等 14 个
摘要三章依次做个体偏好预测、政党知识图谱审议，以及共识生成对提示注入的脆弱性与一条防御流程。
这是一篇把 LLM 数字孪生放进增强民主的博士论文，分个体表示、政党聚合和共识生成的提示注入三章。
- 防御arXiv 2610.02432
论文提出 LLM 输入扰动鲁棒性度量，并发布 ASA 攻击与 AttestMCP 防护
提出 ASA 与 AttestMCP，度量并降低 LLM 对输入序列扰动的敏感
- arXiv
- 2610.02432
- 发表
- 层
- 应用层
- 攻击者
- 黑盒
- 被测模型
- Gemma-3-27B-Instruct、Gemma-3-4B-Instruct、Llama-3.2-3B-Instruct 等 12 个
- 分析与理论arXiv 2610.01535
论文：安全路由评测在分布偏移下失效，基线选取偏差被低估
揭示安全路由评测在分布偏移下的虚假下限与选择偏差
- arXiv
- 2610.01535
- 发表
- 层
- 应用层
- 被测模型
- claude-3-5-sonnet、claude-3-opus、claude-sonnet-4-6 等 9 个
- 组件护栏与评审
摘要论文揭示安全路由评估在分布偏移下的虚假下限，指出防御重心应转向外部动作级强制。
- 评测与基准arXiv 2610.01218
AGO AI Quality Gate：面向 RAG 的证据优先发布决策框架
提出面向 RAG 的证据优先发布框架 AGO，并评测评审 adherence 判别
- arXiv
- 2610.01218
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- gpt-4o、gpt-4.1-nano
- 组件护栏与评审
摘要AGO 把缺失证据和评审误差写成显式发布状态，并要求按领域验证评审。
AGO 是部署在企业 RAG 评估业务中的自托管发布门控，用来决定一个版本应放行、人工复核还是拦截。
- 评测与基准arXiv 2609.39229
RAIM：用廉价小模型聚合替代前沿模型做幻觉检测
提出 RAIM，用交叉拟合堆叠聚合廉价评审检测幻觉
- arXiv
- 2609.39229
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- Llama、Qwen、Mistral 等 10 个
摘要十个廉价评审的堆叠在可采纳区间接近 Sonnet，代价主要是一次域内校准。
- 评测与基准arXiv 2609.37863
MIST 压力测试：无关图像会扰动 VLM 评判者标签
提出 MIST 压力测试，检验无关图像是否扰动 VLM 评判者标签
- arXiv
- 2609.37863
- 发表
- 层
- 提示层
- 场景
- LLM 应用
- 被测模型
- GPT-5.2、Gemini 3.1 Flash-Lite、Gemini 3.5 Flash 等 13 个
- 组件视觉
摘要有图就改标签，图的内容却不告知 judge，裁决绑定配置。
作者用MIST问：VLM 代替人类标注时，可替代性裁决会不会被指南要求忽略的图像改写。
- 评测与基准arXiv 2609.33401
论文评估 System One 模型在 Agent 安全决策中的可靠性、校准与选择性自动化
评测 System One 模型对 Agent 安全输入的分类可靠性与校准
- arXiv
- 2609.33401
- 发表
- 层
- 提示层
- 场景
- LLM 应用
- 被测模型
- Jev 1.13、Laya, English checkpoint、Decider, approximately 2B 等 4 个
摘要离线评测表明，安全判定的总体分数和校准不能代替分组误差和带预算的自动决策检查。
Liu 离线评测 System One 模型能否为智能体安全输入给出可自动化的概率决策。问题是分类是否可靠，以及概率能否在指定漏检和误拦上限内支持放行、拦截或复核。
- 分析与理论arXiv 2609.31857
LLM Judge 验证在稀疏重叠下的问题：从推理到设计
分析稀疏重叠下 LLM judge 与人类一致性的验证误差并规划重叠分配
- arXiv
- 2609.31857
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- Gemini Flash、Gemini Pro、GPT-4o-mini 等 10 个
- 组件护栏与评审
摘要稀疏重叠主导 judge 验证的错误决策。
这篇工作研究标注重叠很稀时，怎样验证 LLM judge 是否足以替代人类，并规划重叠该留多少、怎么分配。。部署前的标准做法是在校准集上比较 judge 与人类的一致性。
- 分析与理论arXiv 2609.30467
研究提出医疗答案事实核查失败分类法，指出检索后验证范式的固有局限
归纳开放式医学长答案检索核验的失败分类
- arXiv
- 2609.30467
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- GPT-5.4、Mistral Small 3 (24B-Instruct-2501)、Mistral Small 4 (119B-2603) 等 8 个
- 组件RAG
摘要作者把开放式低召回归为证据是否在库、能否被定位，以及与声明是否对齐。
这篇工作诊断开放式医学事实核验的 retrieve-then-verify 管线断在哪里，而不是提出新的核验器。
- 攻击arXiv 2609.29130
ClaimMirage：域名中的自我声明如何改变 LLM 威胁判断
提出 ClaimMirage，以域名自述声称改变 LLM 威胁告警判断
- arXiv
- 2609.29130
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- Llama 3.3 70B Instruct-Turbo、Gemma 3 4B it、Gemma 3 12B it 等 5 个
摘要作者称自述声称可增减告警。
- 评测与基准arXiv 2609.15017
PIDS-Bench：在过度防御、混淆与分布偏移下评测提示注入检测器
提出 PIDS-Bench，评测提示注入检测器在过度防御与分布偏移下的表现
- arXiv
- 2609.15017
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- TF-IDF + logistic regression、DistilBERT、DeBERTa-v3-FT 等 7 个
摘要PIDS-Bench 显示高分布内 F1 仍会过度拦截外部来源的安全相关良性输入。
PIDS-Bench 是一个冻结的检测器级基准，用来在固定阈值下同时看提示注入检测和良性误报。
- 防御arXiv 2609.13601
Mind the Gap：检测 DAO 治理中的描述-执行不匹配攻击
提出 DEMI 检测框架，在执行前识别 DAO 提案描述与执行载荷的不匹配
- arXiv
- 2609.13601
- 发表
- 层
- 应用层
- 场景
- LLM 应用
摘要用公开链上数据仿真治理全流程，再以逐动作证据映射在执行前发现描述与执行不一致。
Mind the Gap 把 DAO 提案的描述–执行不一致（DEMI）做成可在投票窗口内运行的检测问题。。