跳到正文
10月9日 · 周五

全部论文

找到 38 篇
筛选4

攻击类型

越狱1提示注入1投毒与后门3模型篡改1检测规避5恶意使用1

攻击技术

梯度与表征优化1针对防御1

模型自身风险

欺骗与谋划3奖励作弊1失准与价值偏离6危险能力1拒答失当1幻觉与编造7偏见与歧视1

防御类型

模型加固2推理时干预5检测与过滤3监控与审计1水印与溯源3

影响

有害内容29越权操作1数据与隐私泄露16输出被操纵38可用性与可靠性4监督失效18滥用能力提升1

系统形态

模型与 API38LLM 应用3编程 Agent0

攻击者权限

黑盒1灰盒1白盒1

攻击面/入口

用户输入4文档与消息1检索语料1图像与音视频5训练数据2权重与梯度2分发渠道1推理服务与硬件1

层

提示层10模型层38应用层5训练与数据层24基础设施层1

系统组件

记忆1护栏与评审2推理链1微调与开源权重2视觉6音频1图像生成4嵌入1多模态10

被测模型厂商

Google16Qwen（阿里）15OpenAI13Meta13Anthropic9Mistral6上海 AI 实验室5其他25
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 630 篇还没打标签，不在筛选结果里。
影响：输出被操纵系统形态：模型与 API系统形态：编程 Agent层：模型层清除全部

另有 630 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 分析与理论arXiv 2610.08144

    新论文称 Lean 验证不能为 OpenAI 的 Navier-Stokes 自然语言证明背书

    论证 Lean 编译通过不能保证自然语言数学证明语义忠实

    arXiv
    2610.08144
    发表
    层
    模型层
    场景
    模型与 API
    测试
    ChatGPT-6 (Astra Ultra)、OpenAI Navier-Stokes formalisation AI、Meta Atlas autoformaliser

    摘要论文论证了形式化编译不保证原证明正确，确立了消歧不可计算性理论，并揭示了 OpenAI 爆破证明中的具体脱节。

    深度解读完整解读
  3. 风险行为arXiv 2610.08670

    研究：后训练配方决定大模型是否违背自身道德判断行事

    提出知行差距面板，测量压力下模型是否违背自身判断

    arXiv
    2610.08670
    发表
    层
    模型层
    场景
    模型与 API
    测试
    OLMo-3-7B-Instruct、Llama-3.1-8B-Instruct、Tulu 3 等 7 个
    摘要评估发现后训练配方决定知行差距是否存在，行动前审思可有效缓解。

    本文评估了开源语言模型作为智能体行动时违背自身道德判断的知行差距及其决定因素。

    深度解读完整解读
  4. 评测与基准arXiv 2610.06522

    SycoLens 研究：单一谄媚翻转率掩盖纠正与屈从的区别

    构建 SycoLens 重放评测，区分谄媚翻转中的纠错与屈从

    arXiv
    2610.06522
    发表
    层
    模型层
    场景
    模型与 API
    测试
    opus-5、sonnet-5、sonnet-4.6 等 11 个
    摘要论文揭示施压句式、边界距离与格式偏置主导翻转率，提出系统解构纠错与顺从的综合评测方案。

    本文系统解构了大语言模型在用户质疑下的阿谀奉承行为与评测机制。

    深度解读完整解读
  5. 攻击arXiv 2610.05894

    研究者提出闭环偏见注入攻击

    提出闭环激活引导，在扩散语言模型去噪过程中注入定向偏见

    arXiv
    2610.05894
    发表
    层
    模型层
    场景
    模型与 API
    攻击者
    灰盒
    测试
    LLaDA-8B-Instruct、Dream-v0-Instruct-7B、LLaDA-MoE-7B-A1B-Instruct

    摘要通过去噪中间概率反馈动态调节残差流转向，证明扩散语言模型在推理服务栈中存在闭环偏见注入脆弱性。

    深度解读完整解读
  6. 评测与基准arXiv 2610.00568

    研究提出对齐诱导不忠实：对齐训练让模型静默改写输入内容

    提出 FAITHCONFLICT，测量对齐训练导致模型静默改写相悖输入

    arXiv
    2610.00568
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Llama-3.1-8B-Instruct、Llama-3.1-70B-Instruct、Tulu-3-8B 等 13 个
    摘要论文揭示并系统分析了大语言模型在安全与常识冲突下静默背离输入的 AIU 现象与三元冲突困境。

    本文系统揭示并实证分析了语言模型后训练中存在的“能力–安全–忠实度”三元冲突。

    深度解读完整解读
  7. 风险行为arXiv 2607.14345

    Truthful AI 提出价值泄漏评估：模型答案被自身价值观悄然左右

    提出价值泄漏评估，测量模型回答受自身价值倾向的隐蔽影响

    arXiv
    2607.14345
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Claude Opus 4.8、Claude Opus 4.7、Claude Opus 4.6 等 15 个

    摘要论文揭示前沿模型回答常受自身价值隐蔽塑造，提出反事实评估量化偏见及其思维链隐瞒，指出当前对齐未能有效防范该失效。

    深度解读完整解读
  8. 评测与基准arXiv 2608.11816

    研究审计 9 个视觉语言模型：中文提示下国家立场改写率约为英文的三倍

    审计视觉语言模型在敏感图像上从拒答转向国家立场重构的行为

    arXiv
    2608.11816
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Qwen2-VL-7B、Qwen2.5-VL-7B、Qwen3-VL-8B 等 9 个
    摘要论文系统审计了 VLM 多模态审查，发现审查正从显式拒答转向隐蔽重构，且中文提示与文本先验会放大重构倾向。

    论文系统研究了中外开源视觉语言模型在政治敏感图像上的审查行为，主要内容如下。

    深度解读完整解读
  9. 防御arXiv 2607.24017

    多模态大模型注意力中的语义与结构偏差解耦：SPAR 免训练干预方法

    提出 SPAR 以分离注意力结构偏置并重分配视觉注意力，减轻多模态幻觉

    arXiv
    2607.24017
    发表
    层
    模型层
    场景
    模型与 API
    测试
    LLaVA-v1.5、LLaVA-1.5-7B、LLaVA-NeXT 等 7 个
    摘要SPAR 用显著性净化文本结构偏置并重分配注意力，在 LLaVA 上同时压低自发幻觉、抬升 gaslighting 后准确率。

    SPAR 是一种免训练的 MLLM 推理时干预，用来把注意力里的结构偏置和语义视觉信号分开。

    深度解读完整解读
  10. 评测与基准arXiv 2609.32763

    Mandela-Bench：36 个多模态模型更依赖记忆而非观察图像

    构建 Mandela-Bench，评测多模态模型是否凭记忆接受篡改图像

    arXiv
    2609.32763
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Gemini-3.8-Flash、GPT-5.6、GLM-5.3-Flash 等 15 个
    摘要论文构建 Mandela-Bench 发现模型对经典图像存在记忆重构偏见，过度依赖先验导致无法有效利用知识核验事实篡改。

    该研究系统评估了多模态大语言模型在面对无痕事实性编辑时，能否利用自身内在世界知识核验被识别出的经典图像。

    深度解读完整解读
  11. 防御arXiv 2608.00716

    生成图像更易被遗忘：面向合成图像检测的机器遗忘视角

    提出机器遗忘式生成图像检测，用遗忘前后特征相似度区分自然图与生成图

    arXiv
    2608.00716
    发表
    层
    模型层
    场景
    模型与 API
    测试
    DINOv2 ViT-S/14、DINOv2 ViT-B/14、DINOv2 ViT-L/14 等 9 个
    摘要作者用剪枝或 LoRA 遗忘拉开生成图与自然图的特征相似度，并在多个检测基准上报告结果。

    这篇工作把 AI 生成图像检测写成对预训练视觉模型的机器遗忘：原模型对两类图像损失都低，剪枝后生成图特征变得更不像原模型。

    深度解读完整解读
  12. 防御arXiv 2607.14737

    GeoDetect：面向视觉语言预训练模型的几何对抗检测方法

    提出 GeoDetect 以几何分数检测视觉语言预训练模型的对抗样本

    arXiv
    2607.14737
    发表
    层
    模型层
    场景
    模型与 API
    攻击者
    白盒
    测试
    CLIPViT (ViT-B/16)、CLIPCNN (ResNet-50)、ALBEF 等 4 个
    摘要GeoDetect 用几何分数检测 VLP 对抗样本。

    GeoDetect 是面向视觉-语言预训练模型的对抗样本检测方法，用嵌入几何而不是任务 logits 区分干净样本与对抗样本。

    深度解读完整解读
  13. 评测与基准arXiv 2609.20684

    HerHealthEval：评测大语言模型对多语言女性健康沟通的理解

    提出 HerHealthEval，评测多语言语域下女性健康关切理解与分诊

    arXiv
    2609.20684
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Qwen3.5-9B-Instruct、Model 2 structured English QLoRA、Model 3 English QLoRA with 4× clarification oversampling 等 5 个
    摘要HerHealthEval 分开测语域变体下的理解、分诊与澄清。

    HerHealthEval 用来评女性健康沟通里的多语言、语域敏感理解，而不是只评生成回答。。

    深度解读完整解读
  14. 分析与理论arXiv 2609.36477

    研究发现护栏模型在基座模型不确定处过度自信

    诊断护栏相对基座在对抗提示上的置信失校

    arXiv
    2609.36477
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Llama-Guard 7B、Llama-Guard-2 8B、Llama-Guard-3 8B 等 10 个
    摘要对抗包装使 guard 高置信漏检，而对应 base 在同一输入上常更不确定。

    诊断性分析：五个提示词分类 guard 的置信度，在清洁输入上可以较校准，在越狱包装后则变成高置信度的错误判定。

    深度解读完整解读
  15. 防御arXiv 2609.37568

    SECRET：用源条件化中继引导缓解音视频大语言模型的幻觉

    提出训练无关的 SECRET，对问题表征做源条件转向以缓解音视频模型幻觉

    arXiv
    2609.37568
    发表
    层
    模型层
    场景
    模型与 API
    测试
    VideoLLaMA2-AV-7B、Qwen2.5-Omni-7B、Qwen3-Omni-30B-A3B
    摘要SECRET 在问题状态上做源条件转向，三个 AVLLM 上减轻了跨模态接地幻觉。

    SECRET 是一种训练无关的问题状态转向方法，用来减轻 AVLLM 的 source-confused grounding hallucination。

    深度解读完整解读
  20. 风险行为arXiv 2609.14796

    论文分析 AI 说服对人类控制 AI 的威胁

    提出 PUC 框架，刻画 AI 说服如何削弱人类对 AI 的控制

    arXiv
    2609.14796
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Claude Sonnet 4.6、Claude Mythos 5、GPT-6 Astra
    摘要PUC 框架用五个实验室场景和风险分解说明说服威胁。

    Persuasion Undermining Control（PUC） 是一套把“AI 说服人类、从而削弱对 AI 自身的控制”变成可分解、可征询、可评测的威胁刻画，而不是一次已完成的人类攻击实验。

    深度解读完整解读
加载更多