跳到正文
10月10日 · 周六

全部论文

找到 857 篇
筛选7

攻击类型

越狱145提示注入176投毒与后门105模型篡改17提取与窃取28检测规避29拒绝服务5恶意使用14

攻击技术

梯度与表征优化29自动化搜索74多轮渐进20编码与混淆32角色扮演与说服16对话结构操控8推理链操控10跨模态载荷34针对防御32潜伏触发43诱导选用10

模型自身风险

欺骗与谋划33奖励作弊52失准与价值偏离35Agent 危险操作65危险能力21拒答失当22幻觉与编造12偏见与歧视3

防御类型

模型加固114推理时干预6检测与过滤54指令与数据隔离42权限与审批57监控与审计36水印与溯源5

影响

有害内容161越权操作171数据与隐私泄露72输出被操纵137可用性与可靠性54监督失效74滥用能力提升13

系统形态

模型与 API334LLM 应用99AI Agent523coding agent109science agent30web agent27网页与电脑操作15多智能体66具身与机器人27

攻击者权限

黑盒89灰盒6白盒32

攻击面/入口

用户输入216网页与界面48文档与消息48工具返回87工具与技能描述52代码仓库与依赖23检索语料10记忆写入32Agent 间消息24图像与音视频63训练数据53权重与梯度35分发渠道44

层

提示层154模型层367应用层501训练与数据层202基础设施层16

系统组件

MCP 与技能66记忆58RAG9护栏与评审92监控器57推理链32权限与沙箱79微调与开源权重46视觉63音频16视频6图像生成18多模态100
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 196 篇还没打标签，不在筛选结果里。
系统形态：模型与 API系统形态：AI Agent系统形态：coding agent系统形态：具身与机器人层：提示层层：应用层层：训练与数据层清除全部

另有 196 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 分析与理论arXiv 2610.12436

    研究提出 AI Agent 种群生态理论：协作带来起飞临界规模

    为失配智能体种群建立生态模型，说明协作产生起飞临界规模

    arXiv
    2610.12436
    发表
    层
    应用层
    场景
    多智能体
    摘要作者称协作把起飞从个体能力阈值改成种群阈值，故小种群评估不够。

    作者用生态学的强 Allee 效应，讨论失配智能体种群会不会在个体能力不变时起飞。。

    深度解读完整解读
  4. 评测与基准arXiv 2610.12360

    论文提出 ISE 框架，评测 LLM Agent 在知识冲突下的认知谦逊

    提出 ISE 框架，评测 LLM Agent 在知识冲突下的认知谦逊

    arXiv
    2610.12360
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Nemotron-Orchestrator-8B、Claude Sonnet 4.6、GPT-5 等 5 个
    摘要ISE 轨迹评测显示，四个智能体的高任务准确率并不对应更高的认知谦逊。

    作者要测的不是智能体最终答得对不对，而是知识冲突出现时，它有没有在轨迹里认出缺口、做有界的工具跟进，并把没解决的不确定性写给用户。

    深度解读完整解读
  5. 分析与理论arXiv 2610.12313

    研究测试五个大模型合规系统对监管规则扰动的敏感度

    诊断合规系统裁决是否随监管规则扰动而改变

    arXiv
    2610.12313
    发表
    层
    提示层
    场景
    模型与 API
    被测模型
    Llama-3.3-70B-Instruct、Llama-3.1-8B-Instruct、Qwen2.5-7B-Instruct 等 5 个
    摘要五模型上许多正确裁决对删换否定规则大体不变。

    用行为反事实和激活探针，审计合规裁决是否依赖所给规则。。作者要分开两种看起来一样的正确裁决：用了所给规则的，以及靠案例表面或训练模式得到的。

    深度解读完整解读
  6. 其他arXiv 2610.11959

    MiMo-V2.6：通过扩展强化学习迈向自我改进

    扩展全模态基座的强化学习以支撑智能体自我改进

    arXiv
    2610.11959
    发表
    层
    训练与数据层
    场景
    coding agent
    被测模型
    MiMo-V2.6-Pro、MiMo-V2.6-Flash、MiMo-V2.6-Distill-Qwen-9B
    摘要系列用三维扩 RL 与分组评分提升智能体分数，作者称最终表现与前沿模型相当。

    MiMo-V2.6 是全模态 MoE 技术报告，用扩大 RL 计算、环境和评分来追求智能体自我改进。

    深度解读完整解读
  8. 评测与基准arXiv 2610.11773

    研究提出 Agent 安全新维度：识别未履行的安全义务

    提出义务识别基准 ObligationBench，并训练护栏识别 Agent 未履行的安全义务

    arXiv
    2610.11773
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    ObligationGuard、Claude-Opus-4.8、GPT-5.6-Sol 等 17 个
    摘要义务是护栏缺口。

    作者认为编码智能体的安全不能只靠拦截禁止动作，还要找出终止时仍未做的安全关键动作，并将其称为义务。

    深度解读完整解读
  9. 评测与基准arXiv 2610.11766

    研究提出意图恢复率作为 LLM 安全评测的补充指标

    提出 IRIS，用意图恢复率区分遮蔽越狱下无害输出的原因

    arXiv
    2610.11766
    发表
    层
    提示层
    场景
    模型与 API
    被测模型
    GPT-4o、Claude Sonnet 4.5、Claude Opus 4.5 等 6 个
    摘要无害输出的证据权重取决于任务是否被恢复。

    IRIS 把意图恢复当作中间信号，用来解释意图遮蔽提示下为何没有出现有害协助。

    深度解读完整解读
  10. 防御arXiv 2610.11754

    仅凭输出审查无法验证什么：面向研究智能体的研究契约

    提出研究合同，把已批准选择绑定到执行证据并由检查器核验

    arXiv
    2610.11754
    发表
    层
    应用层
    场景
    science agent
    被测模型
    OpenAI gpt-5.6-sol、OpenAI gpt-5.6-terra、OpenAI gpt-5.6-luna 等 18 个
    摘要研究合同暴露四类输出单独建不立的关系。

    研究合同用来核验计算科学研究智能体是否仍在已批准研究之内，不判断科学是否为真。。

    深度解读完整解读
  12. 防御arXiv 2610.11281

    包络采样：用少量真值标注重校准 LLM 评委以缓解奖励作弊

    提出包络采样，用少量真值标注重标定 LLM 评委以缓解奖励作弊

    arXiv
    2610.11281
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    Qwen3-4B、Qwen3.8-27B、Qwen2.5-14B-Instruct
    摘要包络采样把真值标注打到代理尾部，同样预算下缓解 reward hacking。

    作者研究后训练前如何选择真值标注的查询分布，使重标定后的廉价代理更适合被优化。真奖励昂贵时，实践用 LLM judge 代替人类。若失准只发生在基座很少生成的输出上，on-policy 标注修不到这些点，随后的 KL 正则优化会把质量集中到被高估的输出。

    深度解读完整解读
  14. 评测与基准arXiv 2610.11112

    EpiReal-Bench：商用图像生成模型虚假声明红队基准

    构建 EpiReal-Bench，评测图像生成器将虚假主张渲染为可信证据

    arXiv
    2610.11112
    发表
    层
    提示层
    场景
    模型与 API
    攻击者
    黑盒
    被测模型
    GPT-Image-2、Nano Banana 2、Grok Imagen 2.0 等 4 个
    摘要四款商用图像模型能把假主张画成可信证据。

    EpiReal-Bench 用来量商用图像生成器会不会把虚假现实主张画成可信视觉证据。

    深度解读完整解读
  15. 防御arXiv 2610.11005

    研究：叙事包装可跨语言绕过 LLM 拒答

    提出 GUISE 基准与 AXIS 训练，防御叙事包装越狱

    arXiv
    2610.11005
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    Qwen3-1.7B、Qwen3-4B、GLM-4-9B
    摘要GUISE 分开测包装与语域。

    作者测量叙事包装下的拒答失效，并训练一个在未见包装上拒绝、同时仍回答同风格良性请求的适配器。问题是：安全对齐模型拒绝直说的有害请求，却回答嵌进角色或叙事里的同一请求。文言文被用来把语域和包装拆开。

    深度解读完整解读
  18. 防御arXiv 2610.10345

    SLDR：通过选择性层恢复与动态路由防御恶意微调

    提出 SLDR，用选择性层恢复与动态路由防御恶意微调

    arXiv
    2610.10345
    发表
    层
    训练与数据层
    场景
    模型与 API
    攻击者
    黑盒
    被测模型
    Llama3.1-8B-Instruct、Llama3-8B-Instruct、Qwen2.5-7B-Instruct 等 4 个
    摘要作者称 SLDR 能压低有害输出并保持下游效用。

    SLDR 是针对恶意微调的微调后防御：在已对齐模型上做有符号层探测，只在敏感分数最大与最小的两层训练 LoRA，再用 lmax 的最后 token 表示决定是否启用适配器。

    深度解读完整解读
  20. 分析与理论arXiv 2610.10203

    研究者提出模型生物体多目标验证框架并给出训练建议

    提出模型生物多目标验证与合并训练方法以减少能力损伤

    arXiv
    2610.10203
    发表
    层
    训练与数据层
    场景
    模型与 API
    被测模型
    gemma-2-2b-it、olmo-2-1b、llama-3.1-8b-it
    摘要提出多目标验证框架与模型合并训练法，证明模型真实度直接影响可解释性评测。

    本论文提出了一种针对 AI 安全评测用模型生物（Model Organisms）的多目标训练与验证体系。

    深度解读完整解读
加载更多