跳到正文
10月9日 · 周五

全部论文

找到 83 篇
筛选3

攻击类型

越狱2提示注入4投毒与后门20模型篡改2提取与窃取1检测规避13恶意使用2

攻击技术

梯度与表征优化4自动化搜索3编码与混淆1角色扮演与说服2跨模态载荷1针对防御4潜伏触发7

模型自身风险

欺骗与谋划4奖励作弊2失准与价值偏离7危险能力1拒答失当2幻觉与编造10偏见与歧视4

防御类型

模型加固13推理时干预7检测与过滤9监控与审计2水印与溯源3

影响

有害内容102越权操作13数据与隐私泄露40输出被操纵83可用性与可靠性16监督失效35滥用能力提升2

系统形态

模型与 API80LLM 应用19AI Agent46编程 Agent8网页与电脑操作3多智能体11具身与机器人1

攻击者权限

黑盒3灰盒1白盒3

攻击面/入口

用户输入12网页与界面2文档与消息2工具返回1检索语料1图像与音视频13训练数据20权重与梯度7分发渠道3推理服务与硬件1

层

提示层11模型层44应用层4训练与数据层23基础设施层1

系统组件

记忆1护栏与评审7监控器1推理链4微调与开源权重9视觉15音频2视频1图像生成6嵌入1多模态22

被测模型厂商

Qwen（阿里）38Google32OpenAI24Meta24Anthropic15DeepSeek12Mistral9上海 AI 实验室8Kimi（月之暗面）7xAI7智谱 GLM6其他51
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 552 篇还没打标签，不在筛选结果里。
影响：输出被操纵系统形态：模型与 API系统形态：网页与电脑操作清除全部

另有 552 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 评测与基准arXiv 2610.07939

    CCDF 数据集：Grok Imagine、Veo 3.1、Sora 2 伪造监控录像，十个深伪检测器基本认不出

    提出监控深伪基准 CCDF，在统一编码后评测检测器对伪造犯罪事故录像的识别

    arXiv
    2610.07939
    发表
    层
    提示层
    场景
    模型与 API
    测试
    C2P-CLIP、ForgeLens、D3-Im 等 13 个

    摘要提出消除格式捷径的监控深度伪造基准 CCDF，揭示现有检测器难以识别商用生成视频。

    深度解读完整解读
  2. 防御arXiv 2609.38909

    Purdue 提出 Pact：将欺骗作为行为遗忘

    提出 PACT，遗忘推理模型在压力下的欺骗行为并保留上下文理解

    arXiv
    2609.38909
    发表
    层
    训练与数据层
    场景
    模型与 API
    攻击者
    白盒
    测试
    DeepSeek-R1-Distill-Qwen-32B、QwQ-32B

    摘要论文将大模型欺骗形式化为上下文条件行为，提出 PACT 框架在消除欺骗的同时保留了上下文遵循能力。

    深度解读完整解读
  5. 分析与理论arXiv 2610.08144

    新论文称 Lean 验证不能为 OpenAI 的 Navier-Stokes 自然语言证明背书

    论证 Lean 编译通过不能保证自然语言数学证明语义忠实

    arXiv
    2610.08144
    发表
    层
    模型层
    场景
    模型与 API
    测试
    ChatGPT-6 (Astra Ultra)、OpenAI Navier-Stokes formalisation AI、Meta Atlas autoformaliser

    摘要论文论证了形式化编译不保证原证明正确，确立了消歧不可计算性理论，并揭示了 OpenAI 爆破证明中的具体脱节。

    深度解读完整解读
  6. 攻击arXiv 2610.09027

    P-VMI：对抗图像经 KV cache 持续影响多轮对话

    提出持久视觉记忆注入，使对抗图像经缓存在触发时操控输出

    arXiv
    2610.09027
    发表
    层
    基础设施层
    场景
    模型与 API
    测试
    Qwen3-8B、Qwen3-VL-8B-Instruct、Gemma-4-12B 等 4 个

    摘要论文提出 P-VMI，证实对抗输入被掩蔽后仍可经 KV 缓存持久控制模型，强调了保留状态的安全风险。

    深度解读完整解读
  7. 风险行为arXiv 2610.08670

    研究：后训练配方决定大模型是否违背自身道德判断行事

    提出知行差距面板，测量压力下模型是否违背自身判断

    arXiv
    2610.08670
    发表
    层
    模型层
    场景
    模型与 API
    测试
    OLMo-3-7B-Instruct、Llama-3.1-8B-Instruct、Tulu 3 等 7 个
    摘要评估发现后训练配方决定知行差距是否存在，行动前审思可有效缓解。

    本文评估了开源语言模型作为智能体行动时违背自身道德判断的知行差距及其决定因素。

    深度解读完整解读
  8. 评测与基准arXiv 2610.06898

    DIBench：面向移动 GUI 智能体多候选选择决策完整性的安全基准

    提出 DIBench，评测界面注入对移动智能体选择决策的操纵

    arXiv
    2610.06898
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    Qwen2.5-VL(32B)、Qwen3-VL(32B)、GUI-Owl(32B) 等 7 个

    摘要论文提出移动智能体决策完整性基准 DIBench，发现欺诈 UI 注入诱导目标选择并推高完成率，通用防御收益不稳定。

    深度解读完整解读
  10. 评测与基准arXiv 2610.06522

    SycoLens 研究：单一谄媚翻转率掩盖纠正与屈从的区别

    构建 SycoLens 重放评测，区分谄媚翻转中的纠错与屈从

    arXiv
    2610.06522
    发表
    层
    模型层
    场景
    模型与 API
    测试
    opus-5、sonnet-5、sonnet-4.6 等 11 个
    摘要论文揭示施压句式、边界距离与格式偏置主导翻转率，提出系统解构纠错与顺从的综合评测方案。

    本文系统解构了大语言模型在用户质疑下的阿谀奉承行为与评测机制。

    深度解读完整解读
  11. 攻击arXiv 2610.05894

    研究者提出闭环偏见注入攻击

    提出闭环激活引导，在扩散语言模型去噪过程中注入定向偏见

    arXiv
    2610.05894
    发表
    层
    模型层
    场景
    模型与 API
    攻击者
    灰盒
    测试
    LLaDA-8B-Instruct、Dream-v0-Instruct-7B、LLaDA-MoE-7B-A1B-Instruct

    摘要通过去噪中间概率反馈动态调节残差流转向，证明扩散语言模型在推理服务栈中存在闭环偏见注入脆弱性。

    深度解读完整解读
  12. 分析与理论arXiv 2610.02886

    研究揭示无触发投毒审计缺口：事实答对不等于决策正确

    揭示无触发虚假训练下事实回答与下游决策的审计差距

    arXiv
    2610.02886
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Qwen2.5-0.5B、Qwen2.5-1.5B、Qwen2.5-3B 等 9 个
    摘要作者发现无触发词虚假训练下事实回答与下游决策存在脱节，直接审计与事实纠错均无法保证决策正确。

    论文是一项针对语言模型在无触发词虚假信息训练下行为表现的实证分析研究。

    深度解读完整解读
  13. 评测与基准arXiv 2610.00568

    研究提出对齐诱导不忠实：对齐训练让模型静默改写输入内容

    提出 FAITHCONFLICT，测量对齐训练导致模型静默改写相悖输入

    arXiv
    2610.00568
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Llama-3.1-8B-Instruct、Llama-3.1-70B-Instruct、Tulu-3-8B 等 13 个
    摘要论文揭示并系统分析了大语言模型在安全与常识冲突下静默背离输入的 AIU 现象与三元冲突困境。

    本文系统揭示并实证分析了语言模型后训练中存在的“能力–安全–忠实度”三元冲突。

    深度解读完整解读
  14. 防御arXiv 2609.01091

    上海交大等提出 trait-direction drift 机制与探针空间走廊正则，抑制蒸馏中的潜隐特质迁移

    提出特征方向漂移机制与探针空间走廊正则，抑制蒸馏潜隐特质迁移

    arXiv
    2609.01091
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct、Gemma-3-12B-IT 等 4 个

    摘要论文将潜意识学习归结为特征方向漂移的持续累积，并提出走廊正则化在微调中控制隐蔽特征转移。

    深度解读完整解读
  15. 评测与基准arXiv 2607.27499

    研究者发布概念性论证评分数据集，含 951 条论证与 1458 条专家评分

    发布概念论证评分数据集并评测模型对批判的排序

    arXiv
    2607.27499
    发表
    层
    模型层
    场景
    模型与 API
    测试
    gpt-5-2025-08-07、o3-pro-2025-06-10、o3-2025-04-16 等 15 个
    摘要作者构建概念性批判评分集。

    作者做了一份专家多维评分的概念性论证批判数据，用来在没有标准答案时比较模型的论证判断。

    深度解读完整解读
  16. 防御arXiv 2609.33086

    研究者提出基于评分量表的可解释奖励框架，将宪法转化为可调对齐目标

    提出可解释 rubric 奖励，将宪法转为可调权重并用于监督微调

    arXiv
    2609.33086
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Gemma 3 12B、Qwen3 14B、GPT-OSS 20B 等 15 个
    摘要宪法级可解释奖励让优先级可检查、可改写，并带入训练后的行为。

    作者给出一条从通用宪法到可调训练奖励的路径，用来检查并改写模型实际被优化的优先级。

    深度解读完整解读
  17. 风险行为arXiv 2607.14345

    Truthful AI 提出价值泄漏评估：模型答案被自身价值观悄然左右

    提出价值泄漏评估，测量模型回答受自身价值倾向的隐蔽影响

    arXiv
    2607.14345
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Claude Opus 4.8、Claude Opus 4.7、Claude Opus 4.6 等 15 个

    摘要论文揭示前沿模型回答常受自身价值隐蔽塑造，提出反事实评估量化偏见及其思维链隐瞒，指出当前对齐未能有效防范该失效。

    深度解读完整解读
  20. 评测与基准arXiv 2607.19855

    研究者提出最小范数攻击集成，用鲁棒性曲线替代单一 ε 评测

    提出最小范数攻击集成，用鲁棒性曲线评测图像分类器

    arXiv
    2607.19855
    发表
    层
    提示层
    场景
    模型与 API
    测试
    C1–C20（CIFAR-10，Table 1）、I1–I10（ImageNet，Table 1）
    摘要预算可控的最小范数集成用 AOI 逼近攻击前沿，DOI 给出不依赖单一ε的防御排序。

    这篇工作把对抗鲁棒评测从单一 ε、固定集成，改成可按查询预算收紧的曲线估计。

    深度解读完整解读
加载更多