跳到正文
10月9日 · 周五

全部论文

找到 36 篇
筛选5

攻击类型

越狱5提示注入2投毒与后门3模型篡改1提取与窃取3检测规避1拒绝服务1恶意使用1

攻击技术

自动化搜索4针对防御1潜伏触发1诱导选用1

模型自身风险

欺骗与谋划3失准与价值偏离6Agent 危险操作3拒答失当2幻觉与编造2

防御类型

模型加固5推理时干预2检测与过滤2指令与数据隔离1监控与审计1

影响

有害内容9越权操作3数据与隐私泄露3输出被操纵4可用性与可靠性5监督失效4

系统形态

模型与 API24LLM 应用3AI Agent12编程 Agent4多智能体3

攻击者权限

黑盒7白盒1

攻击面/入口

用户输入10工具返回1工具与技能描述1代码仓库与依赖1记忆写入1图像与音视频1训练数据1权重与梯度2分发渠道2

层

提示层4模型层16应用层9训练与数据层7

系统组件

MCP 与技能1护栏与评审4监控器1推理链2微调与开源权重3图像生成10嵌入1多模态10

被测模型厂商

Qwen（阿里）470OpenAI401Google364Meta283Anthropic232DeepSeek204智谱 GLM127Mistral107Kimi（月之暗面）106xAI52Microsoft44Ai244MiniMax39NVIDIA25上海 AI 实验室22字节跳动19EleutherAI15Stability AI11Hugging Face10Black Forest Labs10TII8IBM7Cohere6其他284
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 435 篇还没打标签，不在筛选结果里。
系统形态：模型与 API系统形态：AI Agent系统形态：编程 Agent被测模型厂商：NVIDIA被测模型厂商：Stability AI清除全部

另有 435 篇论文还没打上分类标签，暂不在筛选结果里。

  3. 评测与基准arXiv 2610.04737

    PyINE：用可验证 Python 执行轨迹研究推理模型的捷径与监督

    提出 PyINE 基准，训练捷径跟随模型并比较监督者

    arXiv
    2610.04737
    发表
    层
    模型层
    场景
    模型与 API
    测试
    nemotron-3-nano-30B、Qwen3-4B-Instruct、shortcut-following model organism 等 14 个
    摘要PyINE 用可验证代码执行研究捷径失败的监督覆盖与成本权衡。

    PyINE 是用可执行程序研究推理模型引出与监督的框架，PyINE-v1 是其第一次发布。

    深度解读完整解读
  6. 防御arXiv 2610.00767

    研究者提出 grafting 方法：跨检查点移植模型信念

    提出 Grafting，把基座上学到的信念更新加到后训练模型

    arXiv
    2610.00767
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Nemotron Super 120B、Qwen3-14B、Llama-3.3-70B-Instruct 等 6 个
    摘要Grafting 用一次基座微调复用后训练，信念安装接近直接 SDF，连贯性损伤更小。

    Grafting 把在基座上学会的 SDF 权重更新加到后训练模型上，用来近似中训练干预，而不必为每次改语料重跑后训练。

    深度解读完整解读
  7. 风险行为arXiv 2605.28591

    研究：模型掌握评测设计知识后安全基准分数更高

    微调注入评测特征知识，测量隐式评测觉察造成的安全分数虚增

    arXiv
    2605.28591
    发表
    层
    模型层
    场景
    AI Agent
    测试
    Llama 3.3 Nemotron Super 49B v1.5、Qwen3 32B、GLM 4.7 Flash 等 5 个
    摘要证实模型通过合成文档内化评测特征后可在无显式觉察下大幅提升安全评分。

    这篇论文研究了大语言模型因学习评测设计元知识而诱发的隐式评估觉察及安全评分虚增现象。

    深度解读完整解读
  8. 防御arXiv 2610.00715

    Robust Nash Alignment：面向偏好不确定性的博弈式对齐框架

    提出 Robust Nash Alignment，在偏好不确定下做稳健博弈对齐

    arXiv
    2610.00715
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Nemotron-3-Nano-Omni、Qwen2.5-1.5B-Instruct、Gemma-2-2B 等 8 个
    摘要稳健 Nash 对齐在歧义集上优化最坏胜率，多数设置高于 NashMD。

    Robust Nash Alignment 把偏好对齐从“对着一个名义成对核求 Nash”改成“在偏好核的不确定集合上求最坏胜率”。

    深度解读完整解读
  9. 攻击arXiv 2607.12340

    研究：LLM Agent 技能名幻觉率最高达 62%，可被抢注用于供应链攻击

    提出技能名称抢注攻击，利用智能体虚构技能名实施供应链劫持

    arXiv
    2607.12340
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    Nemotron-Cascade-2 30B、GLM-4.5-Air、GPT-5.4-mini 等 10 个
    摘要研究证实智能体虚构技能名具有高发生率与可预测性，现有防御难以兼顾安全与效用，亟需注册表结构性防护。

    本研究系统揭示了大模型智能体技能推荐场景下的虚构技能名称安全风险，将其形式化为一种新型供应链抢注攻击。

    深度解读完整解读
  10. 可解释性arXiv 2608.21766

    研究：六个开源权重模型的评测感知可线性解码，但与口头表达弱相关

    用探针与激活导向分析语言模型的评测意识表征及言语化

    arXiv
    2608.21766
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Nemotron3-49B、Qwen3-8B、Qwen3-32B 等 14 个

    摘要论文系统证明大模型普遍具备评估与部署的隐层表征，但与言语化弱耦合，激活干预可因果诱导言语化且 SFT 阶段起关键稳定作用。

    深度解读完整解读
  12. 防御arXiv 2609.15886

    用学习到的新造词进行接种式 midtraining

    提出 Inoculation Midtraining，用新造词语境约束不安全行为泛化

    arXiv
    2609.15886
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    NVIDIA Nemotron 3 Super 120B Base、Nemotron 3 30B、Nemotron 3 550B
    摘要用 midtraining 给新 token 写入隔离语境，可在 120B 上选择性降低错位，但弱于接种提示且边界会漏。

    Inoculation Midtraining 试图在后训练之前，用一个开发者可控的新 token 把“允许错位”写成一条可开关的语境，使混合数据里的不安全成分留在该语境内。

    深度解读完整解读
  13. 防御arXiv 2610.01969

    RASteer：面向扩散模型概念擦除的保留感知激活引导方法

    提出 RASteer，推理时按保留子空间校正激活以擦除文生图目标概念

    arXiv
    2610.01969
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Stable Diffusion v1.4、Stable Diffusion v1.5、Stable Diffusion v2.1 等 4 个
    摘要RASteer 用保留子空间校正擦除方向，在固定权重下同时压低目标并保住保留概念。

    Retain-aware Activation Steering（RASteer） 是一种不改权重的推理时概念擦除方法，用于文生图扩散模型去掉指定概念并减少对保留概念的误伤。

    深度解读完整解读
  14. 防御arXiv 2610.00850

    AuraForge：为训练安全编码 Agent 扩展安全监督

    提出 AuraForge，从漏洞修复合成安全测试并监督训练编码智能体

    arXiv
    2610.00850
    发表
    层
    训练与数据层
    场景
    编程 Agent
    测试
    Nemotron 3.5、Qwen3.5-4B、Muse Spark 1.3 等 11 个
    摘要AuraForge 用攻击效果测试和防泄露环境做成 AuraGym，合成监督的误拒更低，训出的 4B 模型增益高于人工测试。

    AuraForge 把真实仓库的历史漏洞修复变成可执行训练任务，用来监督编程智能体同时满足功能请求和隐含的安全要求。

    深度解读完整解读
  15. 风险行为arXiv 2609.39838

    研究：模型易学会隐写传信，隐写推理则难得多

    比较隐写推理与隐写传信、编码推理的可学性

    arXiv
    2609.39838
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Nemotron-3-Super-120B、GPT-5.5、Claude Sonnet 5 等 14 个
    摘要隐写推理比传信和编码推理更难学。

    Schulz、Fülle 与 Frengel 测量大语言模型习得隐写推理的难度，并与隐写传信、编码推理对比，以估计依赖阅读 CoT 的监控还能否成立。

    深度解读完整解读
  16. 风险行为arXiv 2609.35928

    论文发现暴露模型身份标签会削弱多智能体 LLM 合作

    测量公开模型家族标签引发的多智能体派系化与合作下降

    arXiv
    2609.35928
    发表
    层
    应用层
    场景
    多智能体
    测试
    Nemotron (NVIDIA-Nemotron-3-Nano-30B-A3B-BF16)、Gemma (gemma-4-26B-A4B-it)、GPT-OSS (gpt-oss-20b) 等 6 个
    摘要可见身份标签让异构 LLM 群体按标签结派，共识更慢、更贵，去掉标签后该行为消失。

    Del Giudice 等人研究异构多智能体 LLM 系统里一个配置细节：把模型家族身份告诉智能体，会不会改变合作。他们把由此出现的、按身份结组的倾向称为 factionalism。任务是无利害的共同决策，没有人设，也没有偏向同家族同伴的奖励。

    深度解读完整解读
  17. 防御arXiv 2609.01046

    HiveTraceGuard-Pro：面向提示注入、越狱与对抗混淆的紧凑生成式护栏

    提出生成式护栏 HiveTraceGuard-Pro，检测提示注入、越狱与混淆

    arXiv
    2609.01046
    发表
    层
    提示层
    场景
    模型与 API
    测试
    Llama-3.1-Nemotron-Safety-Guard-8B-v3、Nemotron-3.5-Content-Safety、HiveTraceGuard-Pro (0.6B) 等 15 个
    摘要0.6B 俄英护栏在自建俄语干净集和 PI-RU 上得分最高，聚合 key 居第三，过阻断和回复精度仍是作者标出的短板。

    HiveTraceGuard-Pro 是面向请求与回复审核的 0.6B 生成式护栏，由 Qwen3-0.6B 经 LoRA 微调，在俄语和英语上训练，只输出一个 safe/unsafe 裁决。

    深度解读完整解读
  18. 攻击arXiv 2609.01168

    CRACK：用多智能体辩论越狱多层安全过滤的 T2I 模型

    提出 CRACK，用多智能体辩论在黑盒下越狱文生图多层安全过滤

    arXiv
    2609.01168
    发表
    层
    提示层
    场景
    模型与 API
    攻击者
    黑盒
    测试
    Stable Diffusion v1.4、SDXL、DALL·E 3 等 4 个
    摘要CRACK 以分层诊断的多智能体辩论搜索多层 T2I 过滤器的联合规避区域。

    CRACK 是面向文本生成图像模型多层安全栈的黑盒越狱框架，用几何上的 Detection Surface 解释为何粗粒度反馈不够。

    深度解读完整解读
加载更多