攻击arXiv 2610.12292
论文提出选项通道攻击：改一个选项标签即可让 Agent 护栏放行违规操作
提出选项通道攻击，重命名选项标签使 Agent 护栏放行违规操作
- arXiv
- 2610.12292
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 攻击者
- 黑盒
- 被测模型
- LAYA-TD、LAYA-EN、LAYA-ML 等 5 个
摘要作者评估指出类型化模型不应作为最终安全裁决者，其易受非策略文本与选项名称操控，且置信度过滤无法抵御攻击。
全部论文
另有 374 篇论文还没打上分类标签，暂不在筛选结果里。
- 攻击arXiv 2610.11932
复旦团队测量 AI 搜索引用脆弱性：普通发帖可进入引用与答案文本
测量 AI 搜索引用脆弱性，证明普通公开发帖可进入引用与回答
- arXiv
- 2610.11932
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- Grok、Doubao、ChatGPT 等 10 个
摘要作者称论文量化了 AI 搜索因引用偏好与低发帖门槛形成的漏洞，测试显示公开网络发帖可渗透 AI 引用，呼吁审计引用供应链。
- 攻击arXiv 2610.10742
BRANCH 方法绕过 6 套多扫描器护栏系统
提出 BRANCH 方法，用分支搜索绕过多扫描器护栏
- arXiv
- 2610.10742
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 攻击者
- 黑盒
- 被测模型
- Meta Llama Guard 3 8B、Meta Llama Guard 7B、Meta Llama Guard 3 1B 等 18 个
- 攻击arXiv 2610.09920
研究：多向量视觉文档索引可被反演还原页面内容
提出流匹配逆向框架，从多向量视觉文档索引重构页面
- arXiv
- 2610.09920
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- Tomoro-ColQwen3-8B、ColQwen3.5-4.5B、Tomoro-colqwen3-embed-4b 等 13 个
- 评测与基准arXiv 2610.08585
研究：无关信息污染患者病历并干扰 LLM 临床推理
构建 MedDistract 基准，测量偶发信息对临床文书与推理的污染
- arXiv
- 2610.08585
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- GPT-5.4、GPT-5.6 Sol、Claude Opus 5 等 9 个
- 评测与基准arXiv 2610.08571
RAG-PIBench：可信 RAG 系统中提示注入检测的泄漏感知基准
提出 RAG-PIBench，评测 RAG 上下文中提示注入检测器
- arXiv
- 2610.08571
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- DistilBERT-base-uncased、DeBERTa-v3-base、MiniLM
- 其他arXiv 2610.08884
Task-Sufficient Contraction：机器信息接口的源选择方法
定义任务充分收缩，认证用 GC 替换全信源后速率–遗憾曲线不变
- arXiv
- 2610.08884
- 发表
- 层
- 应用层
- 场景
- LLM 应用
摘要任务可在优化前定出压缩信源。
任务充分收缩处理机器信息接口上的信源选择：已声明任务有时可以在编码器、码本、速率、失真目标或优化器选定之前，定出一个更小的信源。
- 防御arXiv 2610.07570
ProbeGuard：按共识形成过程判断弃答，识别医疗问答中的一致错误
提出 ProbeGuard，按共识形成过程对医疗问答做选择性弃答
- arXiv
- 2610.07570
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- Qwen3-8B、Llama-3.1-8B-Instruct、HuatuoGPT-o1-8B
摘要ProbeGuard 用共识形成过程做可认证弃权，并在全票层分开答对与答错的共识。
ProbeGuard 是给多轮共识医学问答用的认证弃权框架：基板照原样作答，弃权只看共识是怎么形成的。
- 评测与基准arXiv 2610.07519
论文提出针对手语翻译与儿童安全过滤交叉地带的部署前审计框架
提出手语转文本接入儿童安全过滤的部署前审计协议
- arXiv
- 2610.07519
- 发表
- 层
- 应用层
- 场景
- LLM 应用
摘要作者提议聋人知情的部署前审计，以检查手语转文本是否改变儿童安全决策。
手语儿童到达基于文本的儿童安全机制时，机制看到的是机器翻译，不是儿童所做的手语。作者要解决的是：这条边界在部署前应如何审计。
- 防御arXiv 2610.07403
针对 LLM 谄媚的纵深防御：记忆门控对激活诱导与记忆诱导谄媚的评估
评测记忆门控对激活诱导与记忆诱导谄媚的防御效果
- arXiv
- 2610.07403
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- Llama-3.1-8B-Instruct、Qwen2.5-7B-Instruct、Mistral-7B-Instruct-v0.3 等 4 个
摘要作者称外部记忆过滤成立，数据未显示反向转向再有贡献。
作者在四个开源指令模型上，把激活转向和外部记忆处理放进同一纵深防御协议，看记忆诱发谄媚和内部谄媚压力能否分开压低，以及个性化效用还剩多少。要处理的问题是：检索到的用户历史会推动模型顺从存储信念。只改外部上下文，并不直接动模型内部的谄媚表征。
- 评测与基准arXiv 2610.06306
Inspect Robots：面向具身智能体评测的开源模块化框架
提出 Inspect Robots，在真实机器人上评测具身模型的能力与拒答
- arXiv
- 2610.06306
- 发表
- 层
- 应用层
- 场景
- 具身与机器人
- 被测模型
- Astra（GPT-6 Astra）、GPT-6 Sol、GPT-5.6 Sol 等 7 个
- 风险拒答失当
- 防御arXiv 2610.05870
MBZUAI 提出可校准的真实图像认证方法
提出校准重合成方法，以生成器反演保真度认证真实图像并防御对抗扰动
- arXiv
- 2610.05870
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 攻击者
- 白盒
摘要论文提出基于反演保真度与阈值校准的健全认证框架，在对抗扰动下维持错误率界限，并指出真实内容可认证性随生成器演进而萎缩。
- 防御arXiv 2610.05826
研究者提出临时可见性协议，限制持续摄入 RAG 向量库的投毒暴露
提出临时可见性协议，限制持续摄入 RAG 向量库的投毒暴露
- arXiv
- 2610.05826
- 发表
- 层
- 应用层
- 场景
- LLM 应用
摘要用截止期限制未核验可见时长。
这篇工作给持续摄入的 RAG 向量库一个失败关闭的临时可见性协议，把协议能限制的未核验暴露和依赖检测器的中毒暴露分开。
- 攻击arXiv 2610.04985
研究揭示 Jev 作为应用决策层的安全与隐私风险
评估应用决策层的输入注入与隐私推断风险
- arXiv
- 2610.04985
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- Jev、NanoJev
摘要Jev 的类型化决策可被输入与训练操纵，也会泄露信息，并同时支持检测与滥用。
Jev 是 TypeSafe 的 System One 模型，把应用 state 和固定问题变成 Choice、Noul 或 Score 的类型化决策与概率。作者用官方 API 和可改训练的 NanoJev，考察它作为决策层时的操纵、泄露与双重用途。
- 防御arXiv 2610.04412
论文研究 LLM 数字孪生参与增强民主时的提示注入脆弱性
提出检测、结构化与 GSPO 流程，降低共识生成的提示注入错位
- arXiv
- 2610.04412
- 发表
- 层
- 应用层
- 被测模型
- LLaMA-2 7B、LLaMA-3 8B、GPT 3.5 Turbo 等 14 个
摘要三章依次做个体偏好预测、政党知识图谱审议，以及共识生成对提示注入的脆弱性与一条防御流程。
这是一篇把 LLM 数字孪生放进增强民主的博士论文，分个体表示、政党聚合和共识生成的提示注入三章。
- 评测与基准arXiv 2610.04366
CrashSim 用真实事故先验生成碰撞场景并构建 nuCrash 数据集
提出 CrashSim 用真实事故先验引导扩散仿真并构建 nuCrash 评测自动驾驶规划器
- arXiv
- 2610.04366
- 发表
- 层
- 应用层
- 场景
- 具身与机器人
- 被测模型
- Lane-graph planner、PDM-closed planner、IL planner 等 5 个
摘要CrashSim 迁入真实事故先验生成场景。
CrashSim 用检索到的真实事故先验引导扩散式多车仿真，为自动驾驶安全评测生成碰撞与近碰撞场景。。
- 防御arXiv 2610.03240
通过模型路由与协作实现集体偏见缓解
提出 CBM，用模型路由与多模型协作缓解群体偏见
- arXiv
- 2610.03240
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- Qwen/Qwen2.5-32B-Instruct、Qwen/Qwen2.5-14B-Instruct、google/gemma-2-9b-it 等 7 个
- 风险偏见与歧视
摘要CBM 用路由挑选模型并按拓扑协作，在若干设定下降低 BBQ 偏见分。
CBM 是一个推理时的多模型去偏框架：用路由为查询选模型，再按拓扑协作，以降低社会偏见分。
- 分析与理论arXiv 2610.03095
研究：异构 AI 模型间的说服效果取决于配对而非模型规模
量化异构模型在分歧分类上的同伴影响与回弹
- arXiv
- 2610.03095
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- gemma-3-4b、gemma-3-27b、llama-3.1-8b 等 7 个
摘要一次分歧交换就能大幅改判，且组合行为不能从个体属性外推。
这篇工作测量异构语言模型智能体在共同分类任务上的单次同伴影响，而不是评多智能体系统的整体基准分。
- 评测与基准arXiv 2610.02874
SceneFactory-3D：将 2D 交通场景提升为 3D 物理反事实以做安全评测
提出 SceneFactory-3D，用路况反事实评测驾驶策略的闭环安全性
- arXiv
- 2610.02874
- 发表
- 层
- 应用层
- 被测模型
- Frozen L0、L0-T、L1 等 5 个
摘要SceneFactory-3D 固定场景只改路况。
SceneFactory-3D 是 GPU 批处理的多智能体驾驶仿真器，用来在场景和控制器固定时只改路面物理，并比较闭环结果。
- 其他arXiv 2610.02662
论文发现语言驱动机器人安全监控的细化缺口：安全高层计划可能产生不安全执行
审计机器人安全监控的细化缺口，比较表面计划与图细化轨迹的裁决
- arXiv
- 2610.02662
- 发表
- 层
- 应用层
- 场景
- 具身与机器人
- 组件监控器
摘要表面轨迹可漏掉图诱导的禁区进入。
作者审计 RoboGuard 的一个假设：对高层动作轨迹的安全裁决，在补上语义图诱导的导航和已记录隐式效应之后是否仍然成立。做法是不改验证器，并固定同一条 LTL。