跳到正文
10月9日 · 周五

全部论文

找到 19 篇
筛选3

攻击类型

越狱5提示注入2模型篡改1检测规避1

攻击技术

梯度与表征优化1推理链操控1

模型自身风险

欺骗与谋划3奖励作弊1失准与价值偏离1Agent 危险操作1拒答失当1

防御类型

模型加固4推理时干预1检测与过滤3监控与审计1

影响

有害内容5越权操作1输出被操纵3可用性与可靠性1监督失效2

系统形态

模型与 API19LLM 应用9AI Agent12编程 Agent2网页与电脑操作1多智能体2具身与机器人0

攻击者权限

黑盒1白盒3无盒1

攻击面/入口

用户输入7工具返回1检索语料1图像与音视频1权重与梯度1分发渠道1

层

提示层6模型层7训练与数据层6

系统组件

护栏与评审3监控器1推理链1微调与开源权重3视觉1音频1多模态2

被测模型厂商

Qwen（阿里）203Meta158Google156OpenAI111Mistral52DeepSeek51Anthropic47Ai234智谱 GLM21Kimi（月之暗面）19Microsoft19上海 AI 实验室13EleutherAI12Stability AI10NVIDIA9xAI8Black Forest Labs8TII7Hugging Face5其他155
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 677 篇还没打标签，不在筛选结果里。
系统形态：模型与 API系统形态：具身与机器人被测模型厂商：Microsoft清除全部

另有 677 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 风险行为arXiv 2609.33220

    斯坦福与 Anthropic 研究：RL 后训练中模型承认失败的披露行为远不如任务能力稳定

    度量强化学习后失败披露的跨运行不稳定性，并提出失败条件参考锚定

    arXiv
    2609.33220
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Phi-4、Qwen2.5-1.5B、Qwen2.5-7B 等 11 个

    摘要纯结果强化学习会使模型失败披露行为出现远高于任务能力的跨运行发散，采用失败条件参考锚定可稳定汇报但存在性能权衡。

    深度解读完整解读
  2. 评测与基准arXiv 2608.08542

    SkillSafe-Bench：技能合并模型静态安全无法预测自适应越狱鲁棒性

    提出 SkillSafe-Bench，评测技能合并模型的自适应越狱鲁棒性

    arXiv
    2608.08542
    发表
    层
    提示层
    场景
    模型与 API
    测试
    Phi-4-mini、Qwen2.5-7B-Instruct、Llama-3.1-8B-Instruct 等 6 个
    摘要论文报告了技能合并大模型在静态安全与自适应越狱间的脱节，提出了评测基准与无数据子空间投影修复方法。

    本研究针对开源语言模型技能合并过程中的安全评估盲区，系统评测并刻画了合并大模型在自适应越狱攻击下的脆弱性特征。

    深度解读完整解读
  4. 防御arXiv 2610.00883

    DeBERTa-ConPara：面向部署的 AI 生成文本检测，推理端 Unicode 归一化提升对抗鲁棒性

    提出推理时 Unicode 归一化的检测器，识别遭字符级扰动的 AI 生成文本

    arXiv
    2610.00883
    发表
    层
    提示层
    场景
    模型与 API
    测试
    microsoft/deberta-v3-large、deberta-v3-base、bert-large-cased 等 14 个
    摘要推理时归一化消除两类 Unicode 攻击，训练时归一化则会删掉对抗监督。

    DeBERTa-ConPara 是一个面向部署的 AI 文本检测器：DeBERTa-v3-large 在多数据集原始文本上训练，推理前做确定性 Unicode 归一化，用一个固定阈值面对没有目标域标签的场景。

    深度解读完整解读
  5. 防御arXiv 2610.01800

    LineupRL：基于描述与时序配对识别的可验证强化学习时间序列描述方法

    提出 LineupRL，用描述到序列识别作可验证奖励训练时序描述模型

    arXiv
    2610.01800
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Phi-3.5-mini、Phi-4-14B、DeBERTa 等 15 个
    摘要LineupRL 用统计近邻上的序列识别做可验证奖励，3B 描述器超过 SFT、两种 RL 奖励和 72B 教师。

    LineupRL 是给开放式时间序列描述用的 RLVR：不模仿合成参考，而奖励一条描述能否让冻结文本 LLM 从相近序列里认出目标。

    深度解读完整解读
  11. 评测与基准arXiv 2609.36931

    研究发现系统提示中隐藏日期影响 LLM 评测结果

    测量系统提示中隐藏日期对评测分数与排名的影响

    arXiv
    2609.36931
    发表
    层
    提示层
    场景
    模型与 API
    测试
    Phi-4 (14B)、Llama 3.1 Instruct (8B)、Llama 3.1 Instruct (70B) 等 10 个
    摘要只改隐藏日期就足以改变分数和排名。

    这篇工作量化一个评测协议问题：系统提示词里用户看不见、且逐日变化的当前日期，会不会单独改变 LLM 分数。

    深度解读完整解读
  14. 分析与理论arXiv 2609.23640

    人类对齐的模型是人类行为的模型吗？偏好对齐中的图灵测试差距

    形式化 Turing-test gap，并检验偏好对齐是否偏离人类行为

    arXiv
    2609.23640
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    DeBERTa-v3-large、Qwen2.5-7B-Instruct、Llama-3-8B-Instruct
    摘要偏好对齐不保证更像人。

    Yuan、Lin、Li 等人区分两种常被混称的“与人类对齐”：对齐人类偏好与对齐人类行为，并把二者的分布差异称为 Turing-test gap。

    深度解读完整解读
  18. 评测与基准arXiv 2609.29429

    Jev 被用于零样本检测十类对齐失败，中位 AUROC 达 0.886

    提出 RLCDAlignBench，零样本检测多种对齐失败

    arXiv
    2609.29429
    发表
    层
    提示层
    场景
    模型与 API
    测试
    Phi-4-mini、Jev (jev-1.13.0)、Qwen3.5-2B 等 6 个
    摘要一次通用问题已能给多数对齐失败排序，大的误差来自状态和标签。

    RLCDAlignBench 测量用强化学习做校准决策的 Jev，能否当作对齐失败的零样本检测器。

    深度解读完整解读
  19. 可解释性arXiv 2609.37737

    研究用因果激活修补定位模型服从提示注入指令的决策层

    用因果激活修补定位模型服从提示注入的决策层

    arXiv
    2609.37737
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Phi-3-mini、Qwen3-4B、Qwen3-14B 等 7 个
    摘要合规的因果杠杆集中在网络后三分之一的低秩子空间，该层也是混淆下检测最好的位置。

    这篇工作用逐层激活修补定位提示注入合规发生在网络何处，并把该位置用于检测验证。。

    深度解读完整解读
已经到底了