其他arXiv 2610.13810
用子序列关联过滤与广度感知选择抑制 LLM 查询扩展中的幻觉词
提出 SAFE-QE，过滤 LLM 查询扩展中无支持的幻觉词
- arXiv
- 2610.13810
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- BM25、SPLADE、Contriever
摘要SAFE-QE 以可复现性与覆盖选择抑制扩展幻觉，作者称排序质量无可见代价。
全部论文
另有254篇论文还没打上分类标签，暂不在筛选结果里。
- 评测与基准arXiv 2610.13626
SWE-DeceptionBench：评测 LLM 在软件开发生命周期中的欺骗行为
提出 SWE-DeceptionBench 评测 LLM 在软件开发生命周期中的欺骗
- arXiv
- 2610.13626
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- GPT-5.5、Claude-Opus-4.8、Gemini-3.5-Flash 等9个
- 风险欺骗与谋划
- 分析与理论arXiv 2610.13051
空间胜过统计量，重训练胜过排序：审计仅标签后门下的训练标签
审计仅标签后门的训练标签，比较空间与统计量并以重训评判
- arXiv
- 2610.13051
- 发表
- 场景
- 模型与 API
- 被测模型
- ResNet-32
摘要查标签要在未拟合这些标签的空间里做，并用重训模型而不是检测分数评判。
作者问的是：手里没有可信数据的防御者，能否决定留下哪些训练标签，以及这会毁掉多少干净数据、最终模型准确率如何。
- 攻击arXiv 2610.12644
癌变式后门攻击：借助不可见 token 与阶段控制器实现渐进激活
提出 Cancerous 后门，用不可见阶段 token 分阶段腐蚀推理
- arXiv
- 2610.12644
- 发表
- 场景
- 模型与 API
- 被测模型
- Llama-3.1-8B-Instruct、Qwen2.5-7B-Instruct、Mistral-7B-Instruct-v0.3
摘要隐藏 token 加阶段控制器使后门随触发累积腐蚀推理，作者认为只看答案会漏掉它。
Cancerous Backdoor Attack 把 LLM 后门从一次激活改成随触发累积推进的多阶段推理腐蚀。
- 评测与基准arXiv 2610.12360
论文提出 ISE 框架，评测 LLM Agent 在知识冲突下的认知谦逊
提出 ISE 框架，评测 LLM Agent 在知识冲突下的认知谦逊
- arXiv
- 2610.12360
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Nemotron-Orchestrator-8B、Claude Sonnet 4.6、GPT-5 等5个
摘要ISE 轨迹评测显示，四个智能体的高任务准确率并不对应更高的认知谦逊。
作者要测的不是智能体最终答得对不对，而是知识冲突出现时，它有没有在轨迹里认出缺口、做有界的工具跟进，并把没解决的不确定性写给用户。
- 分析与理论arXiv 2610.12313
研究测试五个大模型合规系统对监管规则扰动的敏感度
诊断合规系统裁决是否随监管规则扰动而改变
- arXiv
- 2610.12313
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 被测模型
- Llama-3.3-70B-Instruct、Llama-3.1-8B-Instruct、Qwen2.5-7B-Instruct 等5个
摘要五模型上许多正确裁决对删换否定规则大体不变。
用行为反事实和激活探针，审计合规裁决是否依赖所给规则。。作者要分开两种看起来一样的正确裁决：用了所给规则的，以及靠案例表面或训练模式得到的。
- 分析与理论arXiv 2610.12125
研究者发现优化教学适配度指标会让 LLM 导师重复同一选项，专家评分从 4.46 降到 3.03
分析优化教学适配指标为何使辅导选择塌缩并偏离专家判断
- arXiv
- 2610.12125
- 发表
- 场景
- 模型与 API
- 被测模型
- Gemini 3.1 Pro Preview、Qwen3-32B
- 风险奖励作弊
摘要指标上升而专家评分下降：可分平均的最优是重复，校正主要改写了输出投影。
把教学适配指标做成微调目标后，指标上升，受过训练的教育者给出的评分下降。。
- 可解释性arXiv 2610.11986
FearCaut-Qwen：激活引导改变视觉语言模型的风险判定标准
用恐惧激活转向检验视觉语言模型的隐患判定准则
- arXiv
- 2610.11986
- 发表
- 层
- 模型层
- 场景
- LLM 应用
- 被测模型
- Qwen/Qwen2.5-VL-7B-Instruct
- 组件视觉
- 防御arXiv 2610.11942
LGWM：用动作条件世界模型验证 GUI 智能体的屏幕转移
提出 LGWM，用动作条件世界模型核验 GUI 智能体屏幕转移
- arXiv
- 2610.11942
- 发表
- 层
- 应用层
- 场景
- 网页与电脑操作
- 被测模型
- LGWM
- 攻击arXiv 2610.11932
复旦团队测量 AI 搜索引用脆弱性：普通发帖可进入引用与答案文本
测量 AI 搜索引用脆弱性，证明普通公开发帖可进入引用与回答
- arXiv
- 2610.11932
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- Grok、Doubao、ChatGPT 等10个
摘要作者称论文量化了 AI 搜索因引用偏好与低发帖门槛形成的漏洞，测试显示公开网络发帖可渗透 AI 引用，呼吁审计引用供应链。
- 评测与基准arXiv 2610.11773
研究提出 Agent 安全新维度：识别未履行的安全义务
提出义务识别基准 ObligationBench，并训练护栏识别 Agent 未履行的安全义务
- arXiv
- 2610.11773
- 发表
- 层
- 应用层
- 被测模型
- ObligationGuard、Claude-Opus-4.8、GPT-5.6-Sol 等17个
- 防御检测与过滤
- 风险Agent 危险操作
- 组件护栏与评审
摘要义务是护栏缺口。
作者认为编码智能体的安全不能只靠拦截禁止动作，还要找出终止时仍未做的安全关键动作，并将其称为义务。
- 防御arXiv 2610.11634
LTBD：用可学习信任边界分隔符防御提示注入
提出 LTBD，用可学习分隔符隔离可信指令与不可信数据
- arXiv
- 2610.11634
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- Llama3-8B-Instruct、Llama3.1-8B-Instruct、Falcon3-7B-Instruct 等4个
摘要LTBD 只训练四个分隔符嵌入。
LTBD 是一种不改基座权重的提示注入防御：只学习用来标出可信指令与不可信数据边界的四个 token 嵌入。
- 评测与基准arXiv 2610.11514
SSCBench：评估工具调用 LLM Agent 故障注入测试证据有效性的测量协议与基准
提出 SSCBench，评测工具调用 Agent 故障注入测试的证据有效性
- arXiv
- 2610.11514
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- deepseek-flash、deepseek-v4-pro、gpt-5.6-luna 等5个
摘要解释采纳前应报告该次执行的证据条件，以及支撑该主张的观察总体。
SSCBench 研究工具使用智能体的故障注入结果，在什么证据条件下可以被解释。
- 防御arXiv 2610.11352
RL-ARC：用推理引导的不确定性校准大型推理模型
提出 RL-ARC，用推理置信度在强化学习中校准推理模型
- arXiv
- 2610.11352
- 发表
- 场景
- 模型与 API
- 被测模型
- Qwen2.5-7B、Qwen3-8B、Llama-8B distilled from DeepSeek-R1
摘要RL-ARC 用推理置信度调节答案置信度，作者称可少牺牲精度并改善 ID 与 OOD 校准。
RL-ARC 是校准感知的强化学习框架，用推理过程的口头置信度调节答案置信度。
- 评测与基准arXiv 2610.11305
BeliefScope：区分证据与用户压力对模型信念影响的受控框架
用 BeliefScope 分离固定命题上证据与压力对模型信念的影响
- arXiv
- 2610.11305
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Qwen3-8B、Llama3.1-8B、Gemma3-12B 等4个
- 风险失准与价值偏离
摘要BeliefScope 把证据修正与压力偏移拆成绑定评测条件的行为画像。
BeliefScope 是一个黑盒行为诊断框架，用来把固定命题上的回答变化拆成证据驱动的修正，和不加新事实的方向性压力。信念修正评测能看到信息基础变化后的更新，谄媚评测能看到用户影响下的顺从或漂移。作者认为，当两种输入都偏向同一结论时，表面偏移本身不能区分来源。
- 评测与基准arXiv 2610.11112
EpiReal-Bench：商用图像生成模型虚假声明红队基准
构建 EpiReal-Bench，评测图像生成器将虚假主张渲染为可信证据
- arXiv
- 2610.11112
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 被测模型
- GPT-Image-2、Nano Banana 2、Grok Imagen 2.0 等4个
摘要四款商用图像模型能把假主张画成可信证据。
EpiReal-Bench 用来量商用图像生成器会不会把虚假现实主张画成可信视觉证据。
- 攻击arXiv 2610.12524
对 AI Agent 系统攻击的探索
重测并扩展对 AI Agent 的提示注入，并用 Agent Card 欺骗操纵 A2A 选择
- arXiv
- 2610.12524
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Ollama Mistral 0.9.5、llama3-8b-8192、gemini-2.0-flash-lite 等5个
摘要单智能体过滤与分类可被格式或措辞绕过，A2A 选卡还会偏向名称和描述。
作者在自建的 LangChain、AutoGen 和 A2A 系统上重测提示注入，并改 Agent Card 看选择是否偏移。摘要称试验主要凸显单智能体弱点，同时把攻击扩到多智能体。
- 防御arXiv 2610.10655
Nullify：面向 LLM 遗忘的零空间激活引导免训练方法
提出零空间激活引导 Nullify，免训练擦除指定记忆并保持效用
- arXiv
- 2610.10655
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Llama-2-7B-chat-hf、Qwen3-8B
- 攻击arXiv 2610.10000
超越奖励压制：有界奖励热启动 Bandit 的近最优离线攻击
提出热启动 Bandit 的部署前有界离线注入攻击
- arXiv
- 2610.10000
- 发表
- 场景
- LLM 应用
- 被测模型
- UCB、Thompson Sampling、ϵ-greedy
- 攻击投毒与后门
- 攻击arXiv 2610.09981
研究：LLM 路由决策日志可推断用户医疗、自伤等敏感话题
提出利用路由元数据推断敏感话题的侧信道攻击
- arXiv
- 2610.09981
- 发表
- 场景
- LLM 应用
- 被测模型
- RouteLLM (BERT router)、notdiamond-0001、Vela (vLLM Semantic Router)
摘要论文揭示并测量了 LLM 路由决策在无文本日志中的敏感话题泄露，验证了按类别公平性防御的有效性与边界。