跳到正文
10月9日 · 周五

全部论文

找到 33 篇
筛选4

攻击类型

越狱4提示注入1投毒与后门1模型篡改2提取与窃取4检测规避1

攻击技术

编码与混淆1潜伏触发1

模型自身风险

欺骗与谋划5奖励作弊1失准与价值偏离5Agent 危险操作2拒答失当3幻觉与编造1

防御类型

模型加固11推理时干预2检测与过滤1监控与审计1

影响

有害内容8越权操作1数据与隐私泄露3输出被操纵3可用性与可靠性1监督失效4

系统形态

模型与 API28AI Agent5编程 Agent2多智能体1

攻击者权限

黑盒3灰盒1白盒4无盒1

攻击面/入口

用户输入8检索语料1Agent 间消息1图像与音视频1训练数据2权重与梯度3分发渠道1

层

提示层10模型层19应用层29训练与数据层14

系统组件

监控器1推理链1微调与开源权重4视觉1音频1嵌入1多模态2

被测模型厂商

Qwen（阿里）240Meta166Google163OpenAI104Mistral54DeepSeek53Anthropic45Ai240智谱 GLM23Microsoft22Kimi（月之暗面）19上海 AI 实验室14NVIDIA12EleutherAI10xAI10Hugging Face9Stability AI8TII7字节跳动6Black Forest Labs5其他166
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 480 篇还没打标签，不在筛选结果里。
层：模型层层：训练与数据层被测模型厂商：NVIDIA被测模型厂商：Microsoft清除全部

另有 480 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 防御arXiv 2610.00767

    研究者提出 grafting 方法：跨检查点移植模型信念

    提出 Grafting，把基座上学到的信念更新加到后训练模型

    arXiv
    2610.00767
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Nemotron Super 120B、Qwen3-14B、Llama-3.3-70B-Instruct 等 6 个
    摘要Grafting 用一次基座微调复用后训练，信念安装接近直接 SDF，连贯性损伤更小。

    Grafting 把在基座上学会的 SDF 权重更新加到后训练模型上，用来近似中训练干预，而不必为每次改语料重跑后训练。

    深度解读完整解读
  3. 风险行为arXiv 2605.28591

    研究：模型掌握评测设计知识后安全基准分数更高

    微调注入评测特征知识，测量隐式评测觉察造成的安全分数虚增

    arXiv
    2605.28591
    发表
    层
    模型层
    场景
    AI Agent
    测试
    Llama 3.3 Nemotron Super 49B v1.5、Qwen3 32B、GLM 4.7 Flash 等 5 个
    摘要证实模型通过合成文档内化评测特征后可在无显式觉察下大幅提升安全评分。

    这篇论文研究了大语言模型因学习评测设计元知识而诱发的隐式评估觉察及安全评分虚增现象。

    深度解读完整解读
  4. 评测与基准arXiv 2610.02293

    HakemBench：土耳其语类型化决策基准发布

    发布 HakemBench，评测土耳其语定型决策的质量、校准与选择性自动化

    arXiv
    2610.02293
    发表
    层
    模型层
    场景
    模型与 API
    测试
    open-jev (DeBERTa-v3-large)、Gemini 3.8 Flash、GPT-5.6 Sol 等 11 个
    摘要HakemBench 评测土耳其语定型决策。

    HakemBench v1.0 是土耳其语定型决策的开放基准，看模型在固定选项上给出的概率是否可用，以及不确定时能否把案例交给人。

    深度解读完整解读
  5. 防御arXiv 2610.02568

    PlurPO：用多元偏好优化缓解社交谄媚

    提出 PlurPO，用自模拟利益相关者偏好后训练缓解社交谄媚

    arXiv
    2610.02568
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Phi-4、Qwen3-8B、Llama 3.1 8B 等 5 个
    摘要PlurPO 用自身多方否决信号做后训练，在社会谄媚指标上降低过度认可。

    PlurPO 是一种后训练方法，用来降低个人建议等无真值场景中的社会谄媚。

    深度解读完整解读
  7. 防御arXiv 2610.00320收录

    研究显示少样本微调可绕过安全层局部冻结与修复防御

    检验层冻结与奇异方向截断能否挡住少样本有害微调

    arXiv
    2610.00320
    收录
    层
    训练与数据层
    场景
    模型与 API
    攻击者
    白盒
    测试
    Phi-3-mini-4k、Llama-3.1-8B-Instruct、Llama-3.1-Tulu-3-8B-DPO 等 10 个
    摘要定位与恢复可以复现，但知情攻击能把损伤移出冻结带，并打败跨检查点的截断修复。

    这篇工作检验：把拒答定位到某些层或更新方向之后，能不能在攻击者知情时还守住拒答。。

    深度解读完整解读
  8. 风险行为arXiv 2609.33220

    斯坦福与 Anthropic 研究：RL 后训练中模型承认失败的披露行为远不如任务能力稳定

    度量强化学习后失败披露的跨运行不稳定性，并提出失败条件参考锚定

    arXiv
    2609.33220
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Phi-4、Qwen2.5-1.5B、Qwen2.5-7B 等 11 个

    摘要纯结果强化学习会使模型失败披露行为出现远高于任务能力的跨运行发散，采用失败条件参考锚定可稳定汇报但存在性能权衡。

    深度解读完整解读
  9. 防御arXiv 2610.00715

    Robust Nash Alignment：面向偏好不确定性的博弈式对齐框架

    提出 Robust Nash Alignment，在偏好不确定下做稳健博弈对齐

    arXiv
    2610.00715
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Nemotron-3-Nano-Omni、Qwen2.5-1.5B-Instruct、Gemma-2-2B 等 8 个
    摘要稳健 Nash 对齐在歧义集上优化最坏胜率，多数设置高于 NashMD。

    Robust Nash Alignment 把偏好对齐从“对着一个名义成对核求 Nash”改成“在偏好核的不确定集合上求最坏胜率”。

    深度解读完整解读
  10. 评测与基准arXiv 2608.20554

    aiXamine：跨维度评测 LLM 安全、安全（security）与隐私权衡

    提出 aiXamine 黑盒基准，统一评测 LLM 安全、稳健与隐私权衡

    arXiv
    2608.20554
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Phi-4、openai/gpt-5-mini、openai/gpt-4o 等 15 个
    摘要aiXamine 用九服务黑盒协议比较百余个模型，作者称单轴信任度进展可能削弱其他轴。

    aiXamine 是一套黑盒评测协议，用来在同一条件下比较 LLM 的 safety、security 与 privacy，而不是再产出一个能力分。

    深度解读完整解读
  13. 可解释性arXiv 2608.21766

    研究：六个开源权重模型的评测感知可线性解码，但与口头表达弱相关

    用探针与激活导向分析语言模型的评测意识表征及言语化

    arXiv
    2608.21766
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Nemotron3-49B、Qwen3-8B、Qwen3-32B 等 14 个

    摘要论文系统证明大模型普遍具备评估与部署的隐层表征，但与言语化弱耦合，激活干预可因果诱导言语化且 SFT 阶段起关键稳定作用。

    深度解读完整解读
  14. 防御arXiv 2609.15886

    用学习到的新造词进行接种式 midtraining

    提出 Inoculation Midtraining，用新造词语境约束不安全行为泛化

    arXiv
    2609.15886
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    NVIDIA Nemotron 3 Super 120B Base、Nemotron 3 30B、Nemotron 3 550B
    摘要用 midtraining 给新 token 写入隔离语境，可在 120B 上选择性降低错位，但弱于接种提示且边界会漏。

    Inoculation Midtraining 试图在后训练之前，用一个开发者可控的新 token 把“允许错位”写成一条可开关的语境，使混合数据里的不安全成分留在该语境内。

    深度解读完整解读
  15. 防御arXiv 2610.01800

    LineupRL：基于描述与时序配对识别的可验证强化学习时间序列描述方法

    提出 LineupRL，用描述到序列识别作可验证奖励训练时序描述模型

    arXiv
    2610.01800
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Phi-3.5-mini、Phi-4-14B、DeBERTa 等 15 个
    摘要LineupRL 用统计近邻上的序列识别做可验证奖励，3B 描述器超过 SFT、两种 RL 奖励和 72B 教师。

    LineupRL 是给开放式时间序列描述用的 RLVR：不模仿合成参考，而奖励一条描述能否让冻结文本 LLM 从相近序列里认出目标。

    深度解读完整解读
  16. 防御arXiv 2610.00850

    AuraForge：为训练安全编码 Agent 扩展安全监督

    提出 AuraForge，从漏洞修复合成安全测试并监督训练编码智能体

    arXiv
    2610.00850
    发表
    层
    训练与数据层
    场景
    编程 Agent
    测试
    Nemotron 3.5、Qwen3.5-4B、Muse Spark 1.3 等 11 个
    摘要AuraForge 用攻击效果测试和防泄露环境做成 AuraGym，合成监督的误拒更低，训出的 4B 模型增益高于人工测试。

    AuraForge 把真实仓库的历史漏洞修复变成可执行训练任务，用来监督编程智能体同时满足功能请求和隐含的安全要求。

    深度解读完整解读
  17. 风险行为arXiv 2609.39838

    研究：模型易学会隐写传信，隐写推理则难得多

    比较隐写推理与隐写传信、编码推理的可学性

    arXiv
    2609.39838
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Nemotron-3-Super-120B、GPT-5.5、Claude Sonnet 5 等 14 个
    摘要隐写推理比传信和编码推理更难学。

    Schulz、Fülle 与 Frengel 测量大语言模型习得隐写推理的难度，并与隐写传信、编码推理对比，以估计依赖阅读 CoT 的监控还能否成立。

    深度解读完整解读
加载更多