跳到正文
10月10日 · 周六

全部论文

找到 839 篇
筛选6

攻击类型

越狱56提示注入160投毒与后门73模型篡改14提取与窃取30检测规避28拒绝服务3恶意使用14

攻击技术

梯度与表征优化10自动化搜索40多轮渐进6编码与混淆10推理链操控3跨模态载荷6针对防御24潜伏触发27诱导选用10

模型自身风险

欺骗与谋划50奖励作弊31失准与价值偏离34Agent 危险操作66危险能力19拒答失当40幻觉与编造26偏见与歧视15

防御类型

模型加固27推理时干预39检测与过滤30指令与数据隔离38权限与审批56监控与审计49水印与溯源14

影响

有害内容74越权操作163数据与隐私泄露68输出被操纵136可用性与可靠性44监督失效72滥用能力提升12

系统形态

模型与 API345LLM 应用98AI Agent494coding agent103science agent20web agent21网页与电脑操作16多智能体63具身与机器人20

攻击者权限

黑盒32灰盒6白盒17

攻击面/入口

用户输入125网页与界面42文档与消息51工具返回81工具与技能描述51代码仓库与依赖20检索语料10记忆写入31Agent 间消息22图像与音视频26训练数据8权重与梯度22分发渠道39推理服务与硬件6

层

提示层137模型层360应用层479训练与数据层202基础设施层16

系统组件

MCP 与技能66记忆58RAG8护栏与评审39监控器69推理链35权限与沙箱78微调与开源权重10视觉43音频16视频4图像生成19嵌入3多模态75
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 242 篇还没打标签，不在筛选结果里。
系统形态：模型与 API系统形态：AI Agent系统形态：coding agent系统形态：多智能体层：模型层层：应用层清除全部

另有 242 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 分析与理论arXiv 2610.12436

    研究提出 AI Agent 种群生态理论：协作带来起飞临界规模

    为失配智能体种群建立生态模型，说明协作产生起飞临界规模

    arXiv
    2610.12436
    发表
    层
    应用层
    场景
    多智能体
    摘要作者称协作把起飞从个体能力阈值改成种群阈值，故小种群评估不够。

    作者用生态学的强 Allee 效应，讨论失配智能体种群会不会在个体能力不变时起飞。。

    深度解读完整解读
  3. 分析与理论arXiv 2610.12409

    研究者对 HELM Safety 与 HarmBench 做心理测量学审查，质疑其分数能否代表单一属性

    审计 HarmBench 分数能否代表单一 harmful refusal 属性

    arXiv
    2610.12409
    发表
    层
    模型层
    场景
    模型与 API
    摘要作者称 HarmBench 不对应单一 harmful refusal，比较模型时应把行为分开。

    这是对 HELM Safety 中 HarmBench 的构念效度审计，检查 harmful refusal 能否作为单一属性来读分数。。

    深度解读完整解读
  5. 可解释性arXiv 2610.12361

    研究：法律推理模型引用法条不等于依据法条

    用依据置换与隐层追踪审计法律思维链是否真正依赖所引法条

    arXiv
    2610.12361
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    Qwen3-8B、Qwen3-14B、Llama-3.1-8B 等 7 个
    摘要作者通过依据置换反事实与内部承诺追踪发现法律 CoT 裁决对依据依赖度有限，且易受提示注入操纵。

    本研究针对法律领域大语言模型思维链推理中引用法律依据的因果真实性展开实证审计。

    深度解读完整解读
  6. 评测与基准arXiv 2610.12360

    论文提出 ISE 框架，评测 LLM Agent 在知识冲突下的认知谦逊

    提出 ISE 框架，评测 LLM Agent 在知识冲突下的认知谦逊

    arXiv
    2610.12360
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    Nemotron-Orchestrator-8B、Claude Sonnet 4.6、GPT-5 等 5 个
    摘要ISE 轨迹评测显示，四个智能体的高任务准确率并不对应更高的认知谦逊。

    作者要测的不是智能体最终答得对不对，而是知识冲突出现时，它有没有在轨迹里认出缺口、做有界的工具跟进，并把没解决的不确定性写给用户。

    深度解读完整解读
  7. 其他arXiv 2610.12235

    论文提出用语言模型充当 AI 研究世界模型，预测实验结果

    提出研究世界模型，用语言模型预测干预增益

    arXiv
    2610.12235
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    Claude Opus 5、Grok-4.6、GPT-6 Astra 等 13 个
    摘要作者称实验记录可在环境内外复用，并改善固定预算下的实验选择。

    作者把语言模型用作研究世界模型，在执行前预测干预增益的中位数，用来在有限预算下比较候选实验。要处理的缺口是研究智能体提案快于执行。同一类改动在不同参考模型、配方和预算下效果可以不同，因此需要能离开原环境继续使用的实验知识。

    深度解读完整解读
  10. 评测与基准arXiv 2610.11773

    研究提出 Agent 安全新维度：识别未履行的安全义务

    提出义务识别基准 ObligationBench，并训练护栏识别 Agent 未履行的安全义务

    arXiv
    2610.11773
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    ObligationGuard、Claude-Opus-4.8、GPT-5.6-Sol 等 17 个
    摘要义务是护栏缺口。

    作者认为编码智能体的安全不能只靠拦截禁止动作，还要找出终止时仍未做的安全关键动作，并将其称为义务。

    深度解读完整解读
  11. 防御arXiv 2610.11754

    仅凭输出审查无法验证什么：面向研究智能体的研究契约

    提出研究合同，把已批准选择绑定到执行证据并由检查器核验

    arXiv
    2610.11754
    发表
    层
    应用层
    场景
    science agent
    被测模型
    OpenAI gpt-5.6-sol、OpenAI gpt-5.6-terra、OpenAI gpt-5.6-luna 等 18 个
    摘要研究合同暴露四类输出单独建不立的关系。

    研究合同用来核验计算科学研究智能体是否仍在已批准研究之内，不判断科学是否为真。。

    深度解读完整解读
  14. 可解释性arXiv 2610.10865

    用路由稀疏自编码器解耦语音编码器中的语言学与副语言学信息

    提出路由 TopK SAE，把语音编码器稀疏码拆成语言与副语言通路

    arXiv
    2610.10865
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    SPEAR XLarge、WavLM Large
    摘要路由 SAE 在冻结 SPEAR 与 WavLM 上分开语言和副语言因子，探针与交换支持通路分工。

    TopK SAE 的稀疏码被分成语言通路与副语言通路，用来分开冻结语音编码器里同时存在的音素信息和说话人、情感、韵律。只重构不能得到作者选定的这一分解。语言通路由音素识别监督，副语言通路由说话人识别、情感分类和韵律预测监督，作用在对方通路上的梯度反转对抗用来压低交叉因子。

    深度解读完整解读
  17. 评测与基准arXiv 2610.10276

    PatchBench 提出激活补丁局部评测协议，揭示越狱修复的附带损伤

    提出 PatchBench-Local 协议，评测激活补丁修复越狱的局部附带损伤

    arXiv
    2610.10276
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    Qwen2.5-3B-Instruct、Qwen2.5-14B-Instruct、gemma-3-4b-it 等 8 个

    摘要论文提出 PatchBench 与局部评估协议，揭示了激活补丁在全局能力无损下仍存局部良性退化。

    深度解读完整解读
  18. 评测与基准arXiv 2610.10150

    论文指出 LLM 漏洞修复基准可靠性受评测设计影响

    用对照实验隔离评测设计对漏洞补丁基准得分的影响

    arXiv
    2610.10150
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    Claude Sonnet 4.0、Claude Sonnet 4.5、Claude Opus 4.7
    摘要作者认为评测流水线会改变补丁基准分数，PoC 通过率高于开发者测试通过率。

    作者把 LLM 漏洞补丁基准的评测流水线当作会改变测量结果的对象，并明确说本文不是再做一个用于排名的基准。

    深度解读完整解读
  19. 评测与基准arXiv 2610.10062

    研究：Agent 更依赖工具报错通道

    测量工具调用 Agent 对显式报错与静默损坏的检测和恢复

    arXiv
    2610.10062
    发表
    层
    应用层
    场景
    AI Agent
    被测模型
    claude-haiku-4.5-thinking、claude-haiku-4.5、deepseek-r1 等 6 个
    摘要作者称智能体看错误通道而非返回内容，静默损坏更少被当作问题。

    作者在 BFCL 多轮可执行环境上注入一次工具层故障，把注意到、改计划、恢复和重复分开记分，而不是只看任务有没有做完。

    深度解读完整解读
加载更多