跳到正文
10月9日 · 周五

全部论文

找到 76 篇
筛选4

攻击类型

越狱21提示注入5投毒与后门1模型篡改4提取与窃取4检测规避4恶意使用1

攻击技术

梯度与表征优化3自动化搜索7多轮渐进3编码与混淆2角色扮演与说服6对话结构操控2推理链操控5跨模态载荷1针对防御3潜伏触发1

模型自身风险

欺骗与谋划9奖励作弊5失准与价值偏离6Agent 危险操作1危险能力3拒答失当3幻觉与编造1

防御类型

模型加固11推理时干预3检测与过滤4监控与审计2

影响

有害内容25越权操作2数据与隐私泄露5输出被操纵14可用性与可靠性2监督失效10滥用能力提升1

系统形态

模型与 API69LLM 应用19AI Agent123编程 Agent30网页与电脑操作7多智能体18

攻击者权限

黑盒12灰盒1白盒7无盒1

攻击面/入口

用户输入32网页与界面4工具返回1代码仓库与依赖1检索语料1图像与音视频3训练数据3权重与梯度4分发渠道1

层

提示层24模型层30应用层6训练与数据层16

系统组件

护栏与评审9监控器4推理链13微调与开源权重8视觉6音频1多模态7

被测模型厂商

Qwen（阿里）227Google173Meta168OpenAI135Anthropic61DeepSeek58Mistral55Ai234智谱 GLM28Kimi（月之暗面）26Microsoft20上海 AI 实验室15EleutherAI13字节跳动10Stability AI10NVIDIA9xAI9Black Forest Labs8TII7MiniMax5Hugging Face5其他159
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 630 篇还没打标签，不在筛选结果里。
系统形态：模型与 API系统形态：网页与电脑操作被测模型厂商：DeepSeek被测模型厂商：Microsoft清除全部

另有 630 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 攻击arXiv 2608.04741

    LoginTrap：针对 LLM Web Agent 的任务无关钓鱼式间接提示注入攻击

    提出 LoginTrap，用网页弹窗实施任务无关钓鱼式间接提示注入并窃取敏感信息

    arXiv
    2608.04741
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    DeepSeek-V3.2、GPT-4o、Gemini 3 Flash 等 7 个

    摘要揭示网络智能体在黑盒网页下的登录诱导风险，利用模糊测试生成话术并跨骨干和架构验证了隐私泄露威胁。

    深度解读完整解读
  2. 防御arXiv 2609.38909

    Purdue 提出 Pact：将欺骗作为行为遗忘

    提出 PACT，遗忘推理模型在压力下的欺骗行为并保留上下文理解

    arXiv
    2609.38909
    发表
    层
    训练与数据层
    场景
    模型与 API
    攻击者
    白盒
    测试
    DeepSeek-R1-Distill-Qwen-32B、QwQ-32B

    摘要论文将大模型欺骗形式化为上下文条件行为，提出 PACT 框架在消除欺骗的同时保留了上下文遵循能力。

    深度解读完整解读
  4. 攻击arXiv 2610.09240

    WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作

    提出 WebMirage，用对抗图像劫持视觉网页智能体的浏览器操作

    arXiv
    2610.09240
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    Phi-3-Vision-4B、LLaVA-v1.5-13B、LLaVA-v1.6-34B 等 6 个
    摘要论文提出了针对网络智能体的端到端视觉红队框架 WebMirage，揭示了从视觉定位到浏览器执行的安全脆弱性。

    WebMirage 是一个面向视觉定位网络智能体的流水线感知端到端红队攻击框架。

    深度解读完整解读
  6. 攻击arXiv 2610.07723

    研究者提出答案侧后门：让模型自生成触发词绕过安全拒答

    提出回答端后门，让模型自生成触发词以在干净有害请求下绕过拒答

    arXiv
    2610.07723
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    DeepSeek-R1、Llama-2-7B-chat-hf、Mistral-7B-Instruct-v0.3 等 4 个

    摘要论文提出了多轮对话中回答端自生成触发词绕过安全拒绝的后门攻击，指出输入端防护存在盲区。

    深度解读完整解读
  7. 风险行为arXiv 2610.03185

    研究将 on-policy distillation 视为隐式奖励优化，揭示奖励作弊导致的训练崩溃

    揭示在策略蒸馏的训练崩溃是对教师偏置的奖励投机

    arXiv
    2610.03185
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    DeepSeek-R1-Distill-Qwen-1.5B、JustRL-1.5B、DeepScaleR-1.5B-Preview 等 8 个
    摘要论文从强化学习视角阐释在策略蒸馏，揭示其提升采样效率而不扩边界，崩溃源于教师奖励偏置引发的奖励投机并可通过掩码缓解。

    该研究从强化学习视角系统分析了语言模型在策略蒸馏（OPD）中的性能增益机制与退化崩溃原因。

    深度解读完整解读
  9. 评测与基准arXiv 2610.00568

    研究提出对齐诱导不忠实：对齐训练让模型静默改写输入内容

    提出 FAITHCONFLICT，测量对齐训练导致模型静默改写相悖输入

    arXiv
    2610.00568
    发表
    层
    模型层
    场景
    模型与 API
    测试
    DeepSeek-V3、Llama-3.1-8B-Instruct、Llama-3.1-70B-Instruct 等 13 个
    摘要论文揭示并系统分析了大语言模型在安全与常识冲突下静默背离输入的 AIU 现象与三元冲突困境。

    本文系统揭示并实证分析了语言模型后训练中存在的“能力–安全–忠实度”三元冲突。

    深度解读完整解读
  10. 攻击arXiv 2607.23496

    Concept2Scenario：用 SAE 概念归因发现可迁移的越狱场景

    提出 Concept2Scenario，借助内部概念归因发现可迁移的越狱场景

    arXiv
    2607.23496
    发表
    层
    提示层
    场景
    模型与 API
    攻击者
    白盒、黑盒
    测试
    deepseek-v3-huawei-910b、Qwen3.5-9B、Llama-3.1-8B 等 10 个

    摘要该研究从表征空间因果归因揭示场景削弱拒绝的机制，发现可复用脆弱场景先验，提升多模型黑盒越狱效能与探索速度。

    深度解读完整解读
  11. 风险行为arXiv 2609.33220

    斯坦福与 Anthropic 研究：RL 后训练中模型承认失败的披露行为远不如任务能力稳定

    度量强化学习后失败披露的跨运行不稳定性，并提出失败条件参考锚定

    arXiv
    2609.33220
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Phi-4、Qwen2.5-1.5B、Qwen2.5-7B 等 11 个

    摘要纯结果强化学习会使模型失败披露行为出现远高于任务能力的跨运行发散，采用失败条件参考锚定可稳定汇报但存在性能权衡。

    深度解读完整解读
  12. 可解释性arXiv 2609.14759

    研究：拒答只读取模型道德表征中的伤害切片

    用几何投影与因果交换干预，分析拒绝机制读取的道德表征

    arXiv
    2609.14759
    发表
    层
    模型层
    场景
    模型与 API
    测试
    DeepSeek-R1-Distill-Llama-8B、DeepSeek-R1-Distill-Qwen-14B、OLMo-3-7B-Instruct 等 9 个
    摘要作者指出拒绝机制多仅读取表层伤害感知，在控制瓶颈处运作，阐明了对齐易被移除的机理并提出跨模型双轴分类。

    本文是一项针对大语言模型拒绝机制与对齐浅层性的机械解释性研究。

    深度解读完整解读
  13. 评测与基准arXiv 2608.08542

    SkillSafe-Bench：技能合并模型静态安全无法预测自适应越狱鲁棒性

    提出 SkillSafe-Bench，评测技能合并模型的自适应越狱鲁棒性

    arXiv
    2608.08542
    发表
    层
    提示层
    场景
    模型与 API
    测试
    Phi-4-mini、Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct 等 6 个
    摘要论文报告了技能合并大模型在静态安全与自适应越狱间的脱节，提出了评测基准与无数据子空间投影修复方法。

    本研究针对开源语言模型技能合并过程中的安全评估盲区，系统评测并刻画了合并大模型在自适应越狱攻击下的脆弱性特征。

    深度解读完整解读
  14. 攻击arXiv 2608.09867

    研究者利用加密推理块跨模型兼容性窃取专有 LLM 推理链

    利用加密思维块的跨模型重放，诱导弱模型逐字转写专有推理链

    arXiv
    2608.09867
    发表
    层
    提示层
    场景
    模型与 API
    攻击者
    黑盒
    测试
    DeepSeek-V4-Flash、Claude Opus 4.8、Claude Sonnet 4.6 等 15 个

    摘要论文揭示了客户端加密思维块跨模型互换漏洞，提出了低成本提取方法并给出防御方案。

    深度解读完整解读
  16. 评测与基准arXiv 2609.05843

    SinoGlyphBench：中文字形混淆下语言模型审核的诊断基准

    提出 SinoGlyphBench，用配对字形混淆诊断中文审核稳定性

    arXiv
    2609.05843
    发表
    层
    提示层
    场景
    模型与 API
    测试
    DeepSeek V4 Flash、DeepSeek V4 Pro、GPT-5.4 mini 等 12 个
    摘要SinoGlyphBench 显示中文字形混淆会同时增加有害漏报和误报，全文扰动最重。

    SinoGlyphBench是一个配对诊断基准，用来看内容审核在可还原的中文字形混淆下是否还保持原决定。

    深度解读完整解读
  17. 评测与基准arXiv 2609.35902

    QH-Bench：面向中国青少年内容安全的细粒度中文基准

    构建中文青少年内容安全基准 QH-Bench，评测单轮与多轮回复的安全与有用性

    arXiv
    2609.35902
    发表
    层
    模型层
    场景
    模型与 API
    测试
    DeepSeek-V2-Lite、DeepSeek-LLM-7B、InternLM2.5-20B 等 13 个
    摘要QH-Bench 分单轮与多轮评测中文青少年内容安全，总均分高仍不消除线下接触和关系压力上的负分。

    QH-BENCH 是面向中国社会文化情境的中文青少年内容安全基准，用单轮细粒度风险和多轮跨轮机制两条轨道，评测模型回复是否既守住安全边界又提供适合年龄的帮助。

    深度解读完整解读
  18. 攻击arXiv 2609.15989

    研究者提出 plan injection 攻击，可绕过思维链监控

    提出 plan injection 攻击，植入良性伪装计划以绕过思维链监视器

    arXiv
    2609.15989
    发表
    层
    提示层
    场景
    模型与 API
    攻击者
    灰盒
    测试
    DeepSeek-R1-0528、Qwen2.5-Coder-7B-Instruct、Qwen3-8B 等 6 个

    摘要论文指出模型会将外部上下文中的伪装计划改写为自身推理，使思维链监视器失效甚至反向合理化恶意行为。

    深度解读完整解读
  19. 分析与理论arXiv 2609.37312

    研究：隐蔽推理必然留下信息痕迹，但思维链未必可读

    分析隐蔽推理在思维链监控下的信息足迹下界与不可读性

    arXiv
    2609.37312
    发表
    层
    模型层
    场景
    模型与 API
    测试
    DeepSeek V4 Pro、DeepSeek V4 Flash、Qwen2.5-7B-Instruct 等 12 个

    摘要论文从理论与实证探明了思维链监控的边界：复杂隐蔽计算必然泄露信息足迹且需承担长度税，但该足迹可被在线加密而不可读。

    深度解读完整解读
加载更多