评测与基准arXiv 2610.13116
DRYLAB-Bench：评测 Agent 式 LLM 突变设计的生物安全风险
提出 DRYLAB-Bench 评测 Agent 式 LLM 的高风险突变设计能力
- arXiv
- 2610.13116
- 发表
- 层
- 应用层
- 被测模型
- Claude Opus 5、Claude Opus 4.8、Claude Fable 5 等15个
- 风险危险能力
全部论文
另有265篇论文还没打上分类标签，暂不在筛选结果里。
- 评测与基准arXiv 2610.10310
RSIGym：预算约束下的 AI 研究智能体评测环境与 RSI-Index 指标
提出 RSIGym 环境，评测研究智能体的递归自改进
- arXiv
- 2610.10310
- 发表
- 层
- 应用层
- 被测模型
- Claude Opus 5、Claude Opus 5.5、GPT-6 Astra 等9个
- 风险危险能力
- 评测与基准arXiv 2610.10232
研究：九种 LLM 说服力评测方法排名仅弱相关
适配多种已发表说服评测并比较模型排名
- arXiv
- 2610.10232
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 被测模型
- Claude-Fable-5.1、GPT-5.6-Sol、Kimi-K2.6 等15个
- 风险危险能力
摘要说服分数混合能力与意愿，换任务后同一模型的排名可以差很多。
这项研究比较的是自动化说服评测是否一致，而不是哪一种分数更正确。
- 评测与基准arXiv 2610.09964
研究比较连续训练阶段对大语言模型说服力的影响
比较连续后训练阶段如何改变语言模型的说服力
- arXiv
- 2610.09964
- 发表
- 场景
- 模型与 API
- 被测模型
- mlabonne/Meta-Llama-3.1-8B-Instruct-abliterated、GPT-4
- 风险危险能力
摘要作者称说服性 SFT 提高失调模型的态度变化，IPO 无额外收益，GPT-4 不异于中性文本。
作者用同一人类协议，把 LLM 说服力拆成阴谋数据上的失调 SFT、说服数据上的 SFT，以及其后的 IPO。
- 评测与基准arXiv 2610.09581
研究审计 LLM 读取 Agent 日志的取证能力：答案正确但引用来源多为猜测
评测 LLM 审计 Agent 日志时来源重建是否有证据支持
- arXiv
- 2610.09581
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- gpt-5.6-luna、claude-sonnet-4-6、gpt-5.4-mini-2026-03-17 等5个
- 风险幻觉与编造
摘要保存执行范围的标识绑定，才能把猜中的引用和证据支持的引用分开。
包级审计检查保存的智能体动作里，哪些来源结论能被交给分析者的记录支持。
- 防御arXiv 2610.09496
SOUL：用稀疏特征策略遗忘缓解 VLA 模型的状态幻觉
提出 SOUL 稀疏特征策略遗忘，缓解 VLA 状态幻觉
- arXiv
- 2610.09496
- 发表
- 场景
- 具身与机器人
- 被测模型
- OpenVLA、π0.5
摘要SOUL 以稀疏特征遗忘 VLA 状态幻觉。
SOUL用稀疏特征引导的策略 unlearning 处理 VLA 的 state hallucination。
- 评测与基准arXiv 2610.08585
研究：无关信息污染患者病历并干扰 LLM 临床推理
构建 MedDistract 基准，测量偶发信息对临床文书与推理的污染
- arXiv
- 2610.08585
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- GPT-5.4、GPT-5.6 Sol、Claude Opus 5 等9个
- 评测与基准arXiv 2610.08540
论文提出按风险类别测量的对齐缩放定律框架
提出分风险对齐标度律框架，测量各类风险的对齐负担如何随规模变化
- arXiv
- 2610.08540
- 发表
- 场景
- 模型与 API
- 被测模型
- Pythia (14m–2.8b)、Qwen2.5 (0.5B–72B)、Qwen2.5-Instruct (0.5B–14B) 等4个
- 风险失准与价值偏离
摘要论文提出了分风险对齐标度律框架，测得真实性与倾向纠错呈标度有益，但盲后门仍存活，揭示隐藏风险的长期挑战。
本文提出了一个将大语言模型对齐难度形式化为可测量标度关系的理论框架与预注册评测协议。
- 防御arXiv 2610.07570
ProbeGuard：按共识形成过程判断弃答，识别医疗问答中的一致错误
提出 ProbeGuard，按共识形成过程对医疗问答做选择性弃答
- arXiv
- 2610.07570
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- Qwen3-8B、Llama-3.1-8B-Instruct、HuatuoGPT-o1-8B
摘要ProbeGuard 用共识形成过程做可认证弃权，并在全票层分开答对与答错的共识。
ProbeGuard 是给多轮共识医学问答用的认证弃权框架：基板照原样作答，弃权只看共识是怎么形成的。
- 防御arXiv 2610.07276
SAFESHIELD：小语言模型部署时安全的决策组织框架
提出 SAFESHIELD，组织小语言模型部署时的安全决策
- arXiv
- 2610.07276
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- Qwen3-4B-Instruct
摘要SAFESHIELD 用可审计决策轨迹组织 SLM 部署时的四项安全决策，并报告协调依赖影响端到端结果。
SAFESHIELD 是面向小语言模型的部署时安全框架，把运行时安全从单项审核改写成可检查的决策过程。
- 评测与基准arXiv 2610.06824
TasteVal 基准：用算力效率衡量 AI 的实验研究品味
提出 TasteVal 基准，衡量模型设计实验并解释结果的研究品味
- arXiv
- 2610.06824
- 发表
- 层
- 应用层
- 被测模型
- Opus 5.5、Fable 5.1、GPT-6 Astra 等20个
- 风险危险能力
- 评测与基准arXiv 2610.06584
论文：AI 在非公开漏洞上更帮攻击者还是防御者
评测 coding agent 在非公开漏洞上的利用生成、修复与后续攻击
- arXiv
- 2610.06584
- 发表
- 层
- 应用层
- 被测模型
- Opus 5、GPT-5.6 Sol、GPT-6 Sol 等10个
- 风险危险能力
摘要攻防孰强随环境、系统和弱点改变。
作者比较编程智能体在利用生成与漏洞修复上的自主表现，并检查修复之后还能不能被攻破。文中的 help 指自主完成任务，不是提升人类操作者。
- 评测与基准arXiv 2610.06366
VERA：结构化审计发现约 60% 正确漏洞判定伴随虚构推理
提出 VERA，审计 LLM 漏洞解释里的虚构推理
- arXiv
- 2610.06366
- 发表
- 层
- 模型层
- 被测模型
- sonnet-5、gemma-4-26b、llama-4-maverick 等8个
- 分析与理论arXiv 2610.04860
研究揭示文本水印会诱发模型幻觉，并提出两种缓解干预
分析文本水印在 RAG 中诱发事实幻觉的机制并提出干预
- arXiv
- 2610.04860
- 发表
- 层
- 模型层
- 场景
- LLM 应用
- 被测模型
- LLaMA 3.1 8B Instruct、Mistral-7B-Instruct-v0.3、Qwen2.5-14B-Instruct
摘要论文揭示了生产环境文本水印导致模型事实退化的失效模式，分析了解码机制并提出针对性干预。
论文研究生产级文本水印对大语言模型事实准确性的影响，分析了水印诱发幻觉的失效模式并评估了针对性缓解方案。
- 评测与基准arXiv 2610.04243
NeuroSploit v4.2.0 在 GOAD 上的评测：结构化智能体编排提升 AD 渗透测试
在 GOAD 上评测 NeuroSploit 编排对 AD 自主渗透的提升
- arXiv
- 2610.04243
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Claude Opus 4.6、Claude Opus 4.7、Claude Opus 4.8 等9个
- 风险危险能力
- 评测与基准arXiv 2610.03853
报告评估 LLM Agent 选择和使用生物工具的能力
评测 Agent 选择并早期操作高风险生物工具的能力
- arXiv
- 2610.03853
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Claude Opus 4.7、Gemini 3.1 Pro Preview、GPT-5.5 等7个
- 风险危险能力
摘要七模型能选工具并部分操作 EVEscape 与 ESM3。
这项评估测量七个前沿 LLM 智能体与生物工具交互的最早两步：为设计任务选工具，以及在仓库里完成玩具级操作。作者关心的是，有生命科学背景但不会专门操作高风险工具的行为者，能否借此降低门槛。范围限于预测性、生成性工具。
- 防御arXiv 2610.02999
OmniConfess：用 Token 级「忏悔」缓解全模态幻觉
提出 OmniConfess，冻结候选并按通道重打分以缓解全模态幻觉
- arXiv
- 2610.02999
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Qwen2.5-Omni-7B、Qwen3-Omni-30B-A3B、Nemotron-3-Nano-Omni-30B
- 评测与基准arXiv 2610.02206
KaliBench：面向 Kali Linux 网络安全工具使用的细粒度基准
提出 KaliBench，评测模型把安全意图译成 Kali 命令的能力
- arXiv
- 2610.02206
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- Llama3.1-Instruct 8B、Qwen3 8B、Qwen3 8B thinking 等15个
- 风险危险能力
- 评测与基准arXiv 2610.00531
SciSlopBench：评测并缓解 AI 生成论文中的科学灌水
构建 SciSlopBench 评测科学灌水，并用 SciSlopHarness 约束修订
- arXiv
- 2610.00531
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 风险幻觉与编造
- 评测与基准arXiv 2609.39229
RAIM：用廉价小模型聚合替代前沿模型做幻觉检测
提出 RAIM，用交叉拟合堆叠聚合廉价评审检测幻觉
- arXiv
- 2609.39229
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 被测模型
- Llama、Qwen、Mistral 等10个
摘要十个廉价评审的堆叠在可采纳区间接近 Sonnet，代价主要是一次域内校准。