跳到正文
10月10日 · 周六

全部论文

找到 1163 篇
筛选5

攻击类型

越狱145提示注入164投毒与后门108模型篡改26提取与窃取55检测规避47拒绝服务6恶意使用18

攻击技术

梯度与表征优化29自动化搜索66多轮渐进15编码与混淆26角色扮演与说服11对话结构操控7推理链操控10跨模态载荷23针对防御38潜伏触发43诱导选用10

模型自身风险

欺骗与谋划54奖励作弊59失准与价值偏离50Agent 危险操作68危险能力22拒答失当55幻觉与编造29偏见与歧视17

防御类型

模型加固127推理时干预41检测与过滤57指令与数据隔离41权限与审批56监控与审计50水印与溯源16

影响

有害内容188越权操作164数据与隐私泄露96输出被操纵194可用性与可靠性66监督失效101滥用能力提升14

系统形态

模型与 API647LLM 应用100AI Agent516coding agent112science agent22web agent20网页与电脑操作15多智能体60具身与机器人34

攻击者权限

黑盒91灰盒10白盒39无盒（离线迁移）3

攻击面/入口

用户输入246网页与界面40文档与消息51工具返回82工具与技能描述52代码仓库与依赖21检索语料9记忆写入29Agent 间消息21图像与音视频69训练数据59权重与梯度50分发渠道46推理服务与硬件12

层

提示层128模型层353应用层468训练与数据层199基础设施层15

系统组件

MCP 与技能65记忆56RAG8护栏与评审91监控器76推理链54权限与沙箱78微调与开源权重52视觉80音频25视频10图像生成37嵌入3多模态143
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 277 篇还没打标签，不在筛选结果里。
系统形态：模型与 API系统形态：AI Agent系统形态：coding agent系统形态：网页与电脑操作系统形态：具身与机器人清除全部

另有 277 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 分析与理论arXiv 2610.12409

    研究者对 HELM Safety 与 HarmBench 做心理测量学审查，质疑其分数能否代表单一属性

    审计 HarmBench 分数能否代表单一 harmful refusal 属性

    arXiv
    2610.12409
    发表
    层
    模型层
    场景
    模型与 API
    摘要作者称 HarmBench 不对应单一 harmful refusal，比较模型时应把行为分开。

    这是对 HELM Safety 中 HarmBench 的构念效度审计，检查 harmful refusal 能否作为单一属性来读分数。。

    深度解读完整解读
  3. 可解释性arXiv 2610.12361

    研究：法律推理模型引用法条不等于依据法条

    用依据置换与隐层追踪审计法律思维链是否真正依赖所引法条

    arXiv
    2610.12361
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    Qwen3-8B、Qwen3-14B、Llama-3.1-8B 等 7 个
    摘要作者通过依据置换反事实与内部承诺追踪发现法律 CoT 裁决对依据依赖度有限，且易受提示注入操纵。

    本研究针对法律领域大语言模型思维链推理中引用法律依据的因果真实性展开实证审计。

    深度解读完整解读
  4. 其他arXiv 2610.11959

    MiMo-V2.6：通过扩展强化学习迈向自我改进

    扩展全模态基座的强化学习以支撑智能体自我改进

    arXiv
    2610.11959
    发表
    层
    训练与数据层
    场景
    coding agent
    被测模型
    MiMo-V2.6-Pro、MiMo-V2.6-Flash、MiMo-V2.6-Distill-Qwen-9B
    摘要系列用三维扩 RL 与分组评分提升智能体分数，作者称最终表现与前沿模型相当。

    MiMo-V2.6 是全模态 MoE 技术报告，用扩大 RL 计算、环境和评分来追求智能体自我改进。

    深度解读完整解读
  6. 评测与基准arXiv 2610.11766

    研究提出意图恢复率作为 LLM 安全评测的补充指标

    提出 IRIS，用意图恢复率区分遮蔽越狱下无害输出的原因

    arXiv
    2610.11766
    发表
    层
    提示层
    场景
    模型与 API
    被测模型
    GPT-4o、Claude Sonnet 4.5、Claude Opus 4.5 等 6 个
    摘要无害输出的证据权重取决于任务是否被恢复。

    IRIS 把意图恢复当作中间信号，用来解释意图遮蔽提示下为何没有出现有害协助。

    深度解读完整解读
  7. 防御arXiv 2610.11754

    仅凭输出审查无法验证什么：面向研究智能体的研究契约

    提出研究合同，把已批准选择绑定到执行证据并由检查器核验

    arXiv
    2610.11754
    发表
    层
    应用层
    场景
    science agent
    被测模型
    OpenAI gpt-5.6-sol、OpenAI gpt-5.6-terra、OpenAI gpt-5.6-luna 等 18 个
    摘要研究合同暴露四类输出单独建不立的关系。

    研究合同用来核验计算科学研究智能体是否仍在已批准研究之内，不判断科学是否为真。。

    深度解读完整解读
  9. 防御arXiv 2610.11281

    包络采样：用少量真值标注重校准 LLM 评委以缓解奖励作弊

    提出包络采样，用少量真值标注重标定 LLM 评委以缓解奖励作弊

    arXiv
    2610.11281
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    Qwen3-4B、Qwen3.8-27B、Qwen2.5-14B-Instruct
    摘要包络采样把真值标注打到代理尾部，同样预算下缓解 reward hacking。

    作者研究后训练前如何选择真值标注的查询分布，使重标定后的廉价代理更适合被优化。真奖励昂贵时，实践用 LLM judge 代替人类。若失准只发生在基座很少生成的输出上，on-policy 标注修不到这些点，随后的 KL 正则优化会把质量集中到被高估的输出。

    深度解读完整解读
  11. 评测与基准arXiv 2610.11112

    EpiReal-Bench：商用图像生成模型虚假声明红队基准

    构建 EpiReal-Bench，评测图像生成器将虚假主张渲染为可信证据

    arXiv
    2610.11112
    发表
    层
    提示层
    场景
    模型与 API
    攻击者
    黑盒
    被测模型
    GPT-Image-2、Nano Banana 2、Grok Imagen 2.0 等 4 个
    摘要四款商用图像模型能把假主张画成可信证据。

    EpiReal-Bench 用来量商用图像生成器会不会把虚假现实主张画成可信视觉证据。

    深度解读完整解读
  12. 可解释性arXiv 2610.10865

    用路由稀疏自编码器解耦语音编码器中的语言学与副语言学信息

    提出路由 TopK SAE，把语音编码器稀疏码拆成语言与副语言通路

    arXiv
    2610.10865
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    SPEAR XLarge、WavLM Large
    摘要路由 SAE 在冻结 SPEAR 与 WavLM 上分开语言和副语言因子，探针与交换支持通路分工。

    TopK SAE 的稀疏码被分成语言通路与副语言通路，用来分开冻结语音编码器里同时存在的音素信息和说话人、情感、韵律。只重构不能得到作者选定的这一分解。语言通路由音素识别监督，副语言通路由说话人识别、情感分类和韵律预测监督，作用在对方通路上的梯度反转对抗用来压低交叉因子。

    深度解读完整解读
  16. 防御arXiv 2610.10345

    SLDR：通过选择性层恢复与动态路由防御恶意微调

    提出 SLDR，用选择性层恢复与动态路由防御恶意微调

    arXiv
    2610.10345
    发表
    层
    训练与数据层
    场景
    模型与 API
    攻击者
    黑盒
    被测模型
    Llama3.1-8B-Instruct、Llama3-8B-Instruct、Qwen2.5-7B-Instruct 等 4 个
    摘要作者称 SLDR 能压低有害输出并保持下游效用。

    SLDR 是针对恶意微调的微调后防御：在已对齐模型上做有符号层探测，只在敏感分数最大与最小的两层训练 LoRA，再用 lmax 的最后 token 表示决定是否启用适配器。

    深度解读完整解读
  18. 评测与基准arXiv 2610.10276

    PatchBench 提出激活补丁局部评测协议，揭示越狱修复的附带损伤

    提出 PatchBench-Local 协议，评测激活补丁修复越狱的局部附带损伤

    arXiv
    2610.10276
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    Qwen2.5-3B-Instruct、Qwen2.5-14B-Instruct、gemma-3-4b-it 等 8 个

    摘要论文提出 PatchBench 与局部评估协议，揭示了激活补丁在全局能力无损下仍存局部良性退化。

    深度解读完整解读
  19. 分析与理论arXiv 2610.10203

    研究者提出模型生物体多目标验证框架并给出训练建议

    提出模型生物多目标验证与合并训练方法以减少能力损伤

    arXiv
    2610.10203
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    gemma-2-2b-it、olmo-2-1b、llama-3.1-8b-it
    摘要提出多目标验证框架与模型合并训练法，证明模型真实度直接影响可解释性评测。

    本论文提出了一种针对 AI 安全评测用模型生物（Model Organisms）的多目标训练与验证体系。

    深度解读完整解读
  20. 评测与基准arXiv 2610.10150

    论文指出 LLM 漏洞修复基准可靠性受评测设计影响

    用对照实验隔离评测设计对漏洞补丁基准得分的影响

    arXiv
    2610.10150
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    Claude Sonnet 4.0、Claude Sonnet 4.5、Claude Opus 4.7
    摘要作者认为评测流水线会改变补丁基准分数，PoC 通过率高于开发者测试通过率。

    作者把 LLM 漏洞补丁基准的评测流水线当作会改变测量结果的对象，并明确说本文不是再做一个用于排名的基准。

    深度解读完整解读
加载更多