跳到正文
10月9日 · 周五

全部论文

找到 42 篇
筛选5

攻击类型

越狱12提示注入2模型篡改5提取与窃取3检测规避2恶意使用1

攻击技术

梯度与表征优化3自动化搜索2编码与混淆2推理链操控1跨模态载荷1针对防御1

模型自身风险

欺骗与谋划3奖励作弊2失准与价值偏离2Agent 危险操作1拒答失当2幻觉与编造1

防御类型

模型加固7推理时干预2检测与过滤3指令与数据隔离1监控与审计2

影响

有害内容17越权操作1数据与隐私泄露2输出被操纵4可用性与可靠性1监督失效3

系统形态

模型与 API37LLM 应用11AI Agent15编程 Agent2网页与电脑操作1多智能体3

攻击者权限

黑盒9灰盒1白盒7无盒1

攻击面/入口

用户输入17工具返回1检索语料1Agent 间消息2图像与音视频2训练数据1权重与梯度6分发渠道1

层

提示层12模型层16应用层3训练与数据层11

系统组件

护栏与评审7监控器2推理链1微调与开源权重5视觉1音频1图像生成8多模态10

被测模型厂商

Qwen（阿里）329Google252OpenAI240Meta219Anthropic132DeepSeek118Mistral79智谱 GLM66Kimi（月之暗面）56Ai239Microsoft33xAI26MiniMax20NVIDIA18上海 AI 实验室18EleutherAI13字节跳动10Stability AI10Hugging Face9Black Forest Labs9TII8Cohere5IBM5其他212
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 466 篇还没打标签，不在筛选结果里。
系统形态：模型与 API系统形态：编程 Agent系统形态：多智能体被测模型厂商：Microsoft被测模型厂商：Black Forest Labs清除全部

另有 466 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 攻击arXiv 2608.07430

    研究者提出 SN-Guided Diffusion，利用扩散大模型安全神经元实现离线越狱

    提出 SN-Guided Diffusion，利用安全神经元实现离线越狱

    arXiv
    2608.07430
    发表
    层
    提示层
    场景
    模型与 API
    攻击者
    黑盒、白盒
    测试
    Phi-3-Mini-4K-Instruct、Qwen2.5-7B-Instruct、LLaDA-8B-Instruct 等 15 个
    摘要论文揭示了扩散语言模型对自回归安全神经元的继承性，并提出纯离线黑盒越狱框架 SN-Guided Diffusion。

    论文系统评估了扩散大语言模型（DLLM）在安全对齐中的双重角色——既作为白盒攻击目标，又作为黑盒越狱生成的对抗工具。

    深度解读完整解读
  3. 评测与基准arXiv 2610.02293

    HakemBench：土耳其语类型化决策基准发布

    发布 HakemBench，评测土耳其语定型决策的质量、校准与选择性自动化

    arXiv
    2610.02293
    发表
    层
    模型层
    场景
    模型与 API
    测试
    open-jev (DeBERTa-v3-large)、Gemini 3.8 Flash、GPT-5.6 Sol 等 11 个
    摘要HakemBench 评测土耳其语定型决策。

    HakemBench v1.0 是土耳其语定型决策的开放基准，看模型在固定选项上给出的概率是否可用，以及不确定时能否把案例交给人。

    深度解读完整解读
  4. 防御arXiv 2610.02568

    PlurPO：用多元偏好优化缓解社交谄媚

    提出 PlurPO，用自模拟利益相关者偏好后训练缓解社交谄媚

    arXiv
    2610.02568
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Phi-4、Qwen3-8B、Llama 3.1 8B 等 5 个
    摘要PlurPO 用自身多方否决信号做后训练，在社会谄媚指标上降低过度认可。

    PlurPO 是一种后训练方法，用来降低个人建议等无真值场景中的社会谄媚。

    深度解读完整解读
  6. 防御arXiv 2610.03055

    HackTrace：用生成状态监督检测代码生成中的奖励作弊

    提出 HACKTRACE，用生成期激活检测代码智能体的奖励作弊

    arXiv
    2610.03055
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    CodeBERT、Qwen3-8B、Llama-3.1-8B-Instruct 等 4 个

    摘要论文提出利用生成状态监督作弊尝试的 HACKTRACE 框架，实现高精度低延迟检测并在 GRPO 训练中有效抑制奖励投机。

    深度解读完整解读
  7. 防御arXiv 2610.00320收录

    研究显示少样本微调可绕过安全层局部冻结与修复防御

    检验层冻结与奇异方向截断能否挡住少样本有害微调

    arXiv
    2610.00320
    收录
    层
    训练与数据层
    场景
    模型与 API
    攻击者
    白盒
    测试
    Phi-3-mini-4k、Llama-3.1-8B-Instruct、Llama-3.1-Tulu-3-8B-DPO 等 10 个
    摘要定位与恢复可以复现，但知情攻击能把损伤移出冻结带，并打败跨检查点的截断修复。

    这篇工作检验：把拒答定位到某些层或更新方向之后，能不能在攻击者知情时还守住拒答。。

    深度解读完整解读
  8. 风险行为arXiv 2609.33220

    斯坦福与 Anthropic 研究：RL 后训练中模型承认失败的披露行为远不如任务能力稳定

    度量强化学习后失败披露的跨运行不稳定性，并提出失败条件参考锚定

    arXiv
    2609.33220
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Phi-4、Qwen2.5-1.5B、Qwen2.5-7B 等 11 个

    摘要纯结果强化学习会使模型失败披露行为出现远高于任务能力的跨运行发散，采用失败条件参考锚定可稳定汇报但存在性能权衡。

    深度解读完整解读
  9. 防御arXiv 2610.02005

    贝叶斯辩证论证（BDA）：面向持续对抗下多 LLM 委员会的可校准聚合

    提出 BDA，把多 LLM 议会的辩证动作当可靠性证据做加权聚合

    arXiv
    2610.02005
    发表
    层
    应用层
    场景
    多智能体
    测试
    phi-4、gemma-3-27b-it、gpt-4.1-nano 等 9 个
    摘要BDA 用零额外调用的可靠性加权，给出可校准后验，并在持续对抗下反转不可靠席位。

    BDA 是一种不另调 LLM 的多 LLM 议会聚合方法，同时处理置信度校准和持续不可靠席位。

    深度解读完整解读
  10. 评测与基准arXiv 2608.08542

    SkillSafe-Bench：技能合并模型静态安全无法预测自适应越狱鲁棒性

    提出 SkillSafe-Bench，评测技能合并模型的自适应越狱鲁棒性

    arXiv
    2608.08542
    发表
    层
    提示层
    场景
    模型与 API
    测试
    Phi-4-mini、Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct 等 6 个
    摘要论文报告了技能合并大模型在静态安全与自适应越狱间的脱节，提出了评测基准与无数据子空间投影修复方法。

    本研究针对开源语言模型技能合并过程中的安全评估盲区，系统评测并刻画了合并大模型在自适应越狱攻击下的脆弱性特征。

    深度解读完整解读
  11. 评测与基准arXiv 2608.20554

    aiXamine：跨维度评测 LLM 安全、安全（security）与隐私权衡

    提出 aiXamine 黑盒基准，统一评测 LLM 安全、稳健与隐私权衡

    arXiv
    2608.20554
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Phi-4、openai/gpt-5-mini、openai/gpt-4o 等 15 个
    摘要aiXamine 用九服务黑盒协议比较百余个模型，作者称单轴信任度进展可能削弱其他轴。

    aiXamine 是一套黑盒评测协议，用来在同一条件下比较 LLM 的 safety、security 与 privacy，而不是再产出一个能力分。

    深度解读完整解读
  14. 防御arXiv 2610.00883

    DeBERTa-ConPara：面向部署的 AI 生成文本检测，推理端 Unicode 归一化提升对抗鲁棒性

    提出推理时 Unicode 归一化的检测器，识别遭字符级扰动的 AI 生成文本

    arXiv
    2610.00883
    发表
    层
    提示层
    场景
    模型与 API
    测试
    microsoft/deberta-v3-large、deberta-v3-base、bert-large-cased 等 14 个
    摘要推理时归一化消除两类 Unicode 攻击，训练时归一化则会删掉对抗监督。

    DeBERTa-ConPara 是一个面向部署的 AI 文本检测器：DeBERTa-v3-large 在多数据集原始文本上训练，推理前做确定性 Unicode 归一化，用一个固定阈值面对没有目标域标签的场景。

    深度解读完整解读
  15. 攻击arXiv 2610.01062

    Kernelized Activation Steering：将激活引导推广到再生核希尔伯特空间的新框架

    提出核化激活引导 KAS，在推理时自适应转向激活以诱导越狱

    arXiv
    2610.01062
    发表
    层
    模型层
    场景
    模型与 API
    测试
    FLUX.1 [schnell]、Qwen2.5-7B-Instruct、Gemma-2-9B-IT 等 6 个
    摘要KAS 用核梯度做局部自适应转向，并在线性核下恢复 DiM。

    Kernelized Activation Steering（KAS） 把推理时的激活转向写成核空间中的优化，使更新随当前激活相对源、目标参考集的位置而变化。

    深度解读完整解读
  16. 防御arXiv 2610.01800

    LineupRL：基于描述与时序配对识别的可验证强化学习时间序列描述方法

    提出 LineupRL，用描述到序列识别作可验证奖励训练时序描述模型

    arXiv
    2610.01800
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Phi-3.5-mini、Phi-4-14B、DeBERTa 等 15 个
    摘要LineupRL 用统计近邻上的序列识别做可验证奖励，3B 描述器超过 SFT、两种 RL 奖励和 72B 教师。

    LineupRL 是给开放式时间序列描述用的 RLVR：不模仿合成参考，而奖励一条描述能否让冻结文本 LLM 从相近序列里认出目标。

    深度解读完整解读
加载更多