跳到正文
10月9日 · 周五

全部论文

找到 46 篇
筛选6

攻击类型

越狱18模型篡改3提取与窃取1恶意使用1

攻击技术

梯度与表征优化1多轮渐进2角色扮演与说服2推理链操控1

模型自身风险

失准与价值偏离4危险能力1拒答失当18幻觉与编造2偏见与歧视2

防御类型

模型加固3推理时干预12监控与审计5

影响

有害内容36越权操作27数据与隐私泄露26输出被操纵53可用性与可靠性10监督失效34滥用能力提升5

系统形态

模型与 API41LLM 应用5AI Agent28编程 Agent5网页与电脑操作3多智能体3具身与机器人1

攻击者权限

黑盒2白盒2无盒1

攻击面/入口

用户输入19图像与音视频2训练数据1权重与梯度2分发渠道1

层

提示层44模型层41应用层5训练与数据层44

系统组件

护栏与评审3监控器5推理链2权限与沙箱1微调与开源权重3视觉1音频3图像生成3多模态6

被测模型厂商

Qwen（阿里）36Google25Meta25OpenAI20Mistral14DeepSeek13Anthropic12Kimi（月之暗面）5xAI5Ai25其他23
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 480 篇还没打标签，不在筛选结果里。
影响：有害内容影响：可用性与可靠性系统形态：模型与 API系统形态：编程 Agent层：模型层层：应用层清除全部

另有 480 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 攻击arXiv 2607.03968

    研究揭示 IDE 编程 Agent 的工作流级越狱：GitHub Copilot 四后端 816/816 生成有害内容

    提出工作流级越狱构建，经多轮开发工作流诱导编程 Agent 在代码中写出有害内容

    arXiv
    2607.03968
    发表
    层
    应用层
    场景
    编程 Agent
    攻击者
    黑盒、无盒
    测试
    Claude Sonnet 4.6、Claude Haiku 4.5、Gemini 3.1 Pro 等 5 个

    摘要论文揭示了 IDE 编程智能体在多轮开发工作流中会绕过单轮拒答并自行写出有害代码，呼吁防御转向工作流与代码产物级审查。

    深度解读完整解读
  3. 评测与基准arXiv 2610.10276

    PatchBench 提出激活补丁局部评测协议，揭示越狱修复的附带损伤

    提出 PatchBench-Local 协议，评测激活补丁修复越狱的局部附带损伤

    arXiv
    2610.10276
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Qwen2.5-3B-Instruct、Qwen2.5-14B-Instruct、gemma-3-4b-it 等 8 个

    摘要论文提出 PatchBench 与局部评估协议，揭示了激活补丁在全局能力无损下仍存局部良性退化。

    深度解读完整解读
  5. 可解释性arXiv 2610.02910

    论文提出用路由梯度敏感度定位稀疏 MoE 模型中的安全敏感专家

    用路由梯度敏感度定位稀疏 MoE 的安全敏感专家

    arXiv
    2610.02910
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Mixtral-8x7B、Qwen1.5-MoE、DeepSeek-MoE 等 5 个
    摘要频率不是敏感度。

    在五个稀疏 MoE 上，用 router 梯度而不是激活频率挑选要抑制的专家，留出恶意提示词上的拒答降得更多。。推理时让少数路由专家不被选中，就可以不重训练地改变拒答，但频率只记录使用次数。

    深度解读完整解读
  6. 防御arXiv 2610.01170

    HeadEdit：通过冻结的 unembedding 矩阵校准语言模型行为

    提出 HeadEdit，经冻结 unembedding 做随输入变化的 logit 校正

    arXiv
    2610.01170
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Qwen3-4B、Gemma-3-4B-IT、Llama-3.2-3B-Instruct 等 4 个
    摘要低秩 unembedding 校正抬高九个设置的总体准确率，并可部分预测 DPO 更新。

    HeadEdit 是一种不更新参数的行为校准方法，作用点是冻结的 unembedding，而不是中间层残差或新的梯度优化。

    深度解读完整解读
  8. 防御arXiv 2608.05578

    AMS 工具通过激活分析检测语言模型的安全训练改动

    提出 AMS，用激活分离与方向相似度检测安全训练改动

    arXiv
    2608.05578
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Llama-3.1-8B-Instruct、Llama-3.2-3B-Instruct、Llama-3.2-1B-Instruct 等 14 个
    摘要AMS 按激活签名把安全改动分四类，前三类可由两级扫描覆盖，行为微调会漏。

    AMS 是面向开放权重模型、部署前使用的激活扫描器，用来看安全训练被拿掉或改写之后，激活空间里还留着什么几何痕迹。

    深度解读完整解读
  9. 评测与基准arXiv 2608.20554

    aiXamine：跨维度评测 LLM 安全、安全（security）与隐私权衡

    提出 aiXamine 黑盒基准，统一评测 LLM 安全、稳健与隐私权衡

    arXiv
    2608.20554
    发表
    层
    模型层
    场景
    模型与 API
    测试
    openai/gpt-5-mini、openai/gpt-4o、anthropic/claude-haiku-4.5 等 15 个
    摘要aiXamine 用九服务黑盒协议比较百余个模型，作者称单轴信任度进展可能削弱其他轴。

    aiXamine 是一套黑盒评测协议，用来在同一条件下比较 LLM 的 safety、security 与 privacy，而不是再产出一个能力分。

    深度解读完整解读
  10. 评测与基准arXiv 2609.35312

    MemoReason 基准

    提出 MemoReason 基准，测量参数记忆对上下文推理的影响

    arXiv
    2609.35312
    发表
    层
    模型层
    场景
    模型与 API
    测试
    GPT-OSS-20B、GPT-OSS-120B、OLMo-3-7B-Think 等 9 个
    摘要配对的虚构替换显示熟悉度影响推理，但模型很少直接抄回事实答案。

    MemoReason 用结构相同的事实–虚构文档配对，测量参数记忆如何影响大模型的上下文推理。

    深度解读完整解读
  14. 评测与基准arXiv 2607.05462

    BioSecBench-Refusal：面向智能体生物安全风险评估的配对基准

    提出 BioSecBench-Refusal，评测智能体生物安全拒答是否对准风险

    arXiv
    2607.05462
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Opus 4.8、Opus 4.7、Opus 4.6 等 10 个
    摘要配对基准显示拒绝多由 API 触发，合法任务常被拒得不少于隐蔽危害。

    BioSecBench-Refusal 把生物研发智能体的谨慎程度和识别隐蔽危害的能力放在同一套任务上测量。

    深度解读完整解读
  15. 防御arXiv 2608.30703

    SingProbe 发布开源内在护栏框架，适配 29 个开源模型

    提出内生护栏 SingProbe，复用解码隐状态监测查询意图、回复安全与幻觉

    arXiv
    2608.30703
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Ling-3.0-tiny-singprobe、Ling-3.0-flash-singprobe、Gemini 3 Pro 等 14 个
    摘要SingProbe 用轻量内生探针做生成时三类监测，并给出流式基准与低开销服务接入。

    SingProbe 是面向生成时监测的开源内生护栏：复用基座解码隐状态，而不是另起模型反复编码文本。

    深度解读完整解读
  16. 评测与基准arXiv 2609.35902

    QH-Bench：面向中国青少年内容安全的细粒度中文基准

    构建中文青少年内容安全基准 QH-Bench，评测单轮与多轮回复的安全与有用性

    arXiv
    2609.35902
    发表
    层
    模型层
    场景
    模型与 API
    测试
    InternLM2.5-20B、InternLM2.5-7B、InternLM2.5-1.8B 等 13 个
    摘要QH-Bench 分单轮与多轮评测中文青少年内容安全，总均分高仍不消除线下接触和关系压力上的负分。

    QH-BENCH 是面向中国社会文化情境的中文青少年内容安全基准，用单轮细粒度风险和多轮跨轮机制两条轨道，评测模型回复是否既守住安全边界又提供适合年龄的帮助。

    深度解读完整解读
  17. 评测与基准arXiv 2609.32547

    研究者提出预算受限的 LLM 重复评测框架，优先深挖隐藏失败

    提出预算化发现框架，优先深评更可能隐藏失败的安全提示词

    arXiv
    2609.32547
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Qwen 2.5 7B、Qwen/Qwen2.5-7B-Instruct-Turbo、Gemma 3n E4B 等 6 个
    摘要浅层零失败的提示词仍可按潜在失败倾向排序，从而把有限深评预算投向更可能暴露隐藏失败之处。

    作者把 LLM 可靠性评测写成预算约束下的隐藏失败发现：每条提示词有未知的逐次失败概率，浅层少量采样中的零失败并不等于该概率为零。

    深度解读完整解读
  18. 评测与基准arXiv 2610.01428

    SAGO：从稳定性而非准确率出发的多维度大模型泛化评测

    提出 SAGO，以语义等价变体上的逐例行为稳定性评测大模型泛化

    arXiv
    2610.01428
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Llama-3.2-3B-Instruct、Llama-3.1-8B-Instruct、Gemma-2B-IT 等 11 个
    摘要SAGO 用多轴逐例稳定性替代聚合准确率，十一个模型都未均匀泛化，且排名会随数据集改变。

    SAGO 把 LLM 泛化改写成同一目标与上下文在语义等价表达下的逐例行为稳定性，而不是单一基准上的聚合准确率。。

    深度解读完整解读
  19. 防御arXiv 2610.01969

    RASteer：面向扩散模型概念擦除的保留感知激活引导方法

    提出 RASteer，推理时按保留子空间校正激活以擦除文生图目标概念

    arXiv
    2610.01969
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Stable Diffusion v1.4、Stable Diffusion v1.5、Stable Diffusion v2.1 等 4 个
    摘要RASteer 用保留子空间校正擦除方向，在固定权重下同时压低目标并保住保留概念。

    Retain-aware Activation Steering（RASteer） 是一种不改权重的推理时概念擦除方法，用于文生图扩散模型去掉指定概念并减少对保留概念的误伤。

    深度解读完整解读
  20. 攻击arXiv 2610.01062

    Kernelized Activation Steering：将激活引导推广到再生核希尔伯特空间的新框架

    提出核化激活引导 KAS，在推理时自适应转向激活以诱导越狱

    arXiv
    2610.01062
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Qwen2.5-7B-Instruct、Gemma-2-9B-IT、Llama-3.1-8B-Instruct 等 6 个
    摘要KAS 用核梯度做局部自适应转向，并在线性核下恢复 DiM。

    Kernelized Activation Steering（KAS） 把推理时的激活转向写成核空间中的优化，使更新随当前激活相对源、目标参考集的位置而变化。

    深度解读完整解读
加载更多