跳到正文
10月12日 · 周一

全部论文

找到 559篇
筛选3

攻击类型

越狱10提示注入78投毒与后门89模型篡改5提取与窃取4检测规避54拒绝服务9恶意使用7

攻击技术

梯度与表征优化38自动化搜索28编码与混淆12角色扮演与说服13对话结构操控4推理链操控5跨模态载荷20针对防御20潜伏触发29诱导选用6

模型自身风险

欺骗与谋划50奖励作弊58失准与价值偏离24Agent 危险操作17拒答失当13幻觉与编造31偏见与歧视11

防御类型

模型加固58推理时干预16检测与过滤42指令与数据隔离12权限与审批13监控与审计30水印与溯源9

影响

有害内容321越权操作220数据与隐私泄露136输出被操纵344可用性与可靠性91监督失效124滥用能力提升19

系统形态

模型与 API270LLM 应用82AI Agent212coding agent43science agent12web agent10网页与电脑操作3多智能体37具身与机器人19

攻击者权限

黑盒23灰盒6白盒13

攻击面/入口

用户输入78网页与界面20文档与消息32工具返回22工具与技能描述9代码仓库与依赖11检索语料28记忆写入9Agent 间消息12图像与音视频56训练数据41权重与梯度24分发渠道21推理服务与硬件11

层

提示层73模型层134应用层248训练与数据层97基础设施层7

系统组件

MCP 与技能13记忆28RAG31护栏与评审65监控器44推理链35权限与沙箱16微调与开源权重20视觉59音频13视频9图像生成10嵌入6多模态86
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 233篇还没打标签，不在筛选结果里。
影响：输出被操纵影响：可用性与可靠性影响：监督失效清除全部

另有233篇论文还没打上分类标签，暂不在筛选结果里。

  1. 攻击arXiv 2610.13928

    AI 模型可被证明地隐藏任意能力

    提出数字锁编译，把可执行网络加密进宿主权重以隐藏任意能力

    arXiv
    2610.13928
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    Gemma 3 270M
    摘要作者用数字锁隐藏可执行能力，并称化学与奇偶任务上的引出未恢复该能力。

    作者构造一类把可执行网络加密进权重的后门，用来讨论白盒引出审计在供应链攻击下的界限。。

    深度解读完整解读
  5. 分析与理论arXiv 2610.13051

    空间胜过统计量，重训练胜过排序：审计仅标签后门下的训练标签

    审计仅标签后门的训练标签，比较空间与统计量并以重训评判

    arXiv
    2610.13051
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    ResNet-32
    摘要查标签要在未拟合这些标签的空间里做，并用重训模型而不是检测分数评判。

    作者问的是：手里没有可信数据的防御者，能否决定留下哪些训练标签，以及这会毁掉多少干净数据、最终模型准确率如何。

    深度解读完整解读
  6. 风险行为arXiv 2610.12822

    奖励作弊作为多智能体编码系统中的可传播策略

    展示奖励黑客可在多智能体编码系统中经代码、记忆和计划传播

    arXiv
    2610.12822
    发表
    层
    应用层
    场景
    多智能体、coding agent
    被测模型
    Qwen2.5-Coder-14B、Gemma-3-12B、Qwen2.5-Coder-7B 等16个
    摘要作者称奖励黑客可跨模型传播并影响路由与聚合，审查能降低交付。

    编码 RL 诱发的奖励黑客可以离开源智能体，进入后续协作和系统协调。

    深度解读完整解读
  7. 评测与基准arXiv 2610.12758

    DistressBench：评估大语言模型的多维度危机支持

    提出 DistressBench，评测模型在危机对话中的多维支持

    arXiv
    2610.12758
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    Muse Spark 1.2、Muse Spark 1.3、Muse Glimmer 30B 等20个
    摘要模型更会克制而较少行动。

    DistressBench 用临床人员撰写并修订的 SSH 对话，按加权原子标准评通用聊天模型送达了多少必要照护，而不是评它是否拒绝。用户向聊天模型披露自杀或自伤时，作者认为期望行为是识别、校准共情、降缓并转介人工帮助。拒绝式评测测不到认出危机之后仍不行动。

    深度解读完整解读
  8. 攻击arXiv 2610.12644

    癌变式后门攻击：借助不可见 token 与阶段控制器实现渐进激活

    提出 Cancerous 后门，用不可见阶段 token 分阶段腐蚀推理

    arXiv
    2610.12644
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    Llama-3.1-8B-Instruct、Qwen2.5-7B-Instruct、Mistral-7B-Instruct-v0.3
    摘要隐藏 token 加阶段控制器使后门随触发累积腐蚀推理，作者认为只看答案会漏掉它。

    Cancerous Backdoor Attack 把 LLM 后门从一次激活改成随触发累积推进的多阶段推理腐蚀。

    深度解读完整解读
  9. 防御arXiv 2610.12602

    语言模型中的自我保存

    提出 Task Bank 自回放，缓解持续指令微调的留出遗忘

    arXiv
    2610.12602
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    Qwen3-0.6B、Qwen3-1.7B、Qwen3-4B 等4个
    摘要作者称自回放可在清单外减遗忘，4B 上新任务信息有助于选目标，小模型则无。

    作者研究语言模型学习新任务时，如何用自身知识做更广的自我保持：给定清单不完整，遗忘又会超出清单，模型能否生成回放并帮忙选择目标。

    深度解读完整解读
  11. 可解释性arXiv 2610.12361

    研究：法律推理模型引用法条不等于依据法条

    用依据置换与隐层追踪审计法律思维链是否真正依赖所引法条

    arXiv
    2610.12361
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    Qwen3-8B、Qwen3-14B、Llama-3.1-8B 等7个
    摘要作者通过依据置换反事实与内部承诺追踪发现法律 CoT 裁决对依据依赖度有限，且易受提示注入操纵。

    本研究针对法律领域大语言模型思维链推理中引用法律依据的因果真实性展开实证审计。

    深度解读完整解读
  12. 评测与基准arXiv 2610.12360

    论文提出 ISE 框架，评测 LLM Agent 在知识冲突下的认知谦逊

    提出 ISE 框架，评测 LLM Agent 在知识冲突下的认知谦逊

    arXiv
    2610.12360
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Nemotron-Orchestrator-8B、Claude Sonnet 4.6、GPT-5 等5个
    摘要ISE 轨迹评测显示，四个智能体的高任务准确率并不对应更高的认知谦逊。

    作者要测的不是智能体最终答得对不对，而是知识冲突出现时，它有没有在轨迹里认出缺口、做有界的工具跟进，并把没解决的不确定性写给用户。

    深度解读完整解读
  13. 分析与理论arXiv 2610.12313

    研究测试五个大模型合规系统对监管规则扰动的敏感度

    诊断合规系统裁决是否随监管规则扰动而改变

    arXiv
    2610.12313
    发表
    层
    提示层
    场景
    模型与 API
    被测模型
    Llama-3.3-70B-Instruct、Llama-3.1-8B-Instruct、Qwen2.5-7B-Instruct 等5个
    摘要五模型上许多正确裁决对删换否定规则大体不变。

    用行为反事实和激活探针，审计合规裁决是否依赖所给规则。。作者要分开两种看起来一样的正确裁决：用了所给规则的，以及靠案例表面或训练模式得到的。

    深度解读完整解读
  14. 分析与理论arXiv 2610.12125

    研究者发现优化教学适配度指标会让 LLM 导师重复同一选项，专家评分从 4.46 降到 3.03

    分析优化教学适配指标为何使辅导选择塌缩并偏离专家判断

    arXiv
    2610.12125
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    Gemini 3.1 Pro Preview、Qwen3-32B
    摘要指标上升而专家评分下降：可分平均的最优是重复，校正主要改写了输出投影。

    把教学适配指标做成微调目标后，指标上升，受过训练的教育者给出的评分下降。。

    深度解读完整解读
  15. 分析与理论arXiv 2610.12083

    论文审计 LLM 裁判可靠性：重复一致不等于正确

    审计 LLM 裁判可靠性并定义可信判决率与准确率上界

    arXiv
    2610.12083
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    GPT-5.2、GPT-4o、Gemini-2.5-Pro 等6个
    摘要作者称比较裁判应看 T，而不是只看准确率。

    作者审计 LLM-as-a-Judge 在重复查询、交换候选顺序和更换提示格式时，判决是否还能当作可操作的真值。

    深度解读完整解读
  18. 攻击arXiv 2610.11932

    复旦团队测量 AI 搜索引用脆弱性：普通发帖可进入引用与答案文本

    测量 AI 搜索引用脆弱性，证明普通公开发帖可进入引用与回答

    arXiv
    2610.11932
    发表
    层
    应用层
    场景
    LLM 应用
    被测模型
    Grok、Doubao、ChatGPT 等10个

    摘要作者称论文量化了 AI 搜索因引用偏好与低发帖门槛形成的漏洞，测试显示公开网络发帖可渗透 AI 引用，呼吁审计引用供应链。

    深度解读完整解读
  19. 防御arXiv 2610.11848

    SemField：免训练的语义水印

    提出语义水印 SemField，在释义与结构改动后仍识别生成文本归属

    arXiv
    2610.11848
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    Llama-3.2-1B、Qwen3-1.7B、OPT-1.3B
    摘要训练无关的文档级语义水印。

    SemField 是提供方在生成时嵌入、事后用密钥检测的零比特语义水印，用来在释义和句子级结构改动后识别本方模型文本。

    深度解读完整解读
  20. 防御arXiv 2610.11754

    仅凭输出审查无法验证什么：面向研究智能体的研究契约

    提出研究合同，把已批准选择绑定到执行证据并由检查器核验

    arXiv
    2610.11754
    发表
    层
    应用层
    场景
    science agent
    被测模型
    OpenAI gpt-5.6-sol、OpenAI gpt-5.6-terra、OpenAI gpt-5.6-luna 等18个
    摘要研究合同暴露四类输出单独建不立的关系。

    研究合同用来核验计算科学研究智能体是否仍在已批准研究之内，不判断科学是否为真。。

    深度解读完整解读
加载更多