跳到正文
10月10日 · 周六

全部论文

找到 131 篇
筛选6

攻击类型

越狱5提示注入15投毒与后门8恶意使用5

模型自身风险

欺骗与谋划8奖励作弊6失准与价值偏离4Agent 危险操作12危险能力10拒答失当10幻觉与编造10偏见与歧视5

防御类型

推理时干预5检测与过滤5监控与审计11

影响

有害内容11越权操作16数据与隐私泄露10输出被操纵29可用性与可靠性14监督失效17滥用能力提升6

系统形态

模型与 API64LLM 应用21AI Agent188coding agent49science agent12web agent9网页与电脑操作11多智能体16具身与机器人8

攻击面/入口

用户输入13网页与界面7文档与消息5工具与技能描述4代码仓库与依赖5记忆写入3图像与音视频4分发渠道5

层

提示层36模型层67应用层64训练与数据层19

系统组件

MCP 与技能4记忆5护栏与评审6监控器15推理链6权限与沙箱3视觉9音频4视频3图像生成3多模态15
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 241 篇还没打标签，不在筛选结果里。
系统形态：模型与 API系统形态：coding agent系统形态：web agent系统形态：网页与电脑操作层：模型层层：应用层清除全部

另有 241 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 评测与基准arXiv 2610.11773

    研究提出 Agent 安全新维度：识别未履行的安全义务

    提出义务识别基准 ObligationBench，并训练护栏识别 Agent 未履行的安全义务

    arXiv
    2610.11773
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    ObligationGuard、Claude-Opus-4.8、GPT-5.6-Sol 等 17 个
    摘要义务是护栏缺口。

    作者认为编码智能体的安全不能只靠拦截禁止动作，还要找出终止时仍未做的安全关键动作，并将其称为义务。

    深度解读完整解读
  3. 评测与基准arXiv 2610.10276

    PatchBench 提出激活补丁局部评测协议，揭示越狱修复的附带损伤

    提出 PatchBench-Local 协议，评测激活补丁修复越狱的局部附带损伤

    arXiv
    2610.10276
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    Qwen2.5-3B-Instruct、Qwen2.5-14B-Instruct、gemma-3-4b-it 等 8 个

    摘要论文提出 PatchBench 与局部评估协议，揭示了激活补丁在全局能力无损下仍存局部良性退化。

    深度解读完整解读
  4. 评测与基准arXiv 2610.10150

    论文指出 LLM 漏洞修复基准可靠性受评测设计影响

    用对照实验隔离评测设计对漏洞补丁基准得分的影响

    arXiv
    2610.10150
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    Claude Sonnet 4.0、Claude Sonnet 4.5、Claude Opus 4.7
    摘要作者认为评测流水线会改变补丁基准分数，PoC 通过率高于开发者测试通过率。

    作者把 LLM 漏洞补丁基准的评测流水线当作会改变测量结果的对象，并明确说本文不是再做一个用于排名的基准。

    深度解读完整解读
  5. 评测与基准arXiv 2610.09944

    AgentTime 基准测试智能体时长遵循能力，GPT-6 Astra 出现 14 次做完后休眠

    提出 AgentTime 基准，评测智能体按时长工作与估时能力

    arXiv
    2610.09944
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    Fable 5.1、GPT-5.6 Sol、GPT-6 Astra 等 7 个
    摘要作者把完成任务和管理所用时间分开。

    AgentTime 是对智能体时间自控的评测：预测任务耗时、按要求时长工作、事后估计已用时间。

    深度解读完整解读
  9. 评测与基准arXiv 2610.08902

    论文提出 agent plasticity 指标衡量智能体通过经验自我改进的效率

    提出 agent plasticity 指标衡量智能体通过经验自我改进的效率

    arXiv
    2610.08902
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    Claude Fable 5、Claude Opus 5、GPT-5.6 Sol 等 10 个
    摘要作者用固定权重协议比较前沿模型把经验写成制品后的留出增益与习得效率。

    作者用 agent plasticity 衡量一件事：权重冻结时，智能体把经验写成可继承制品，再换成留出能力增益，这个转换有多省。

    深度解读完整解读
  10. 评测与基准arXiv 2610.08662

    ParanoiaEval：编码智能体不必要风险处置评测基准发布

    提出 ParanoiaEval 评测编码智能体的不必要风险处置

    arXiv
    2610.08662
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    Opus-5、Sonnet-5、Sonnet-4.6 等 8 个
    摘要作者用证据受控任务对评测风险处置，称其普遍、独立于任务能力并降低满意度。

    作者提出 ParanoiaEval，并称它是编码智能体风险处置能力的首个统一基准。要解决的问题是：证据已经确定风险应如何处置之后，智能体仍可能扩大验证、增加保护或备份，而现有评测要么只看功能正确性，要么把相关行为拆开研究。做法是把 NIST 的 ATMA 落到仓库任务。

    深度解读完整解读
  13. 评测与基准arXiv 2610.07722

    SteerScope：面向 LLM 引导方法的多维评测套件

    提出 SteerScope 多维评测 LLM 激活引导的功效与副作用

    arXiv
    2610.07722
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    Gemma-2-2B-it、Gemma-2-9B-it
    摘要作者称默认等权下，activation steering 未能在副作用不更大时超过 Prompt Steering。

    SteerScope 是一套 LLM steering 评测套件，用来同时记录目标概念有没有被诱导出来、模型还被连带改了什么，以及这些改变在换语言提示和减少训练样本后还剩多少。

    深度解读完整解读
  16. 评测与基准arXiv 2610.07362

    HARP：在硬资源约束下为 LLM 评测动态分配预算

    提出 HARP，在硬预算约束下为多轮评测动态分配交互并校准预测界

    arXiv
    2610.07362
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    Qwen 2.5 14B、Llama 3.1 8B、Phi-4 Mini 等 4 个
    摘要HARP 用分组预留与回流，在硬预算下校准多轮 time-to-event 界和指标。

    HARP 是硬计算预算下的多轮评测分配与校准方法，用来构造 time-to-event 预测界，并估计越狱率一类边际指标。

    深度解读完整解读
  17. 评测与基准arXiv 2610.06673

    语言模型合规性双探针诊断基准：Claude Sonnet-4.6 与 Opus-4.7 可被停止且不可被利用

    提出合规双探针基准，测量模型可利用性与可停止性

    arXiv
    2610.06673
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    Gemini 2.5 Flash Lite、Llama 3.3-70B、Qwen3-30B-A3B 等 12 个
    摘要两探针把十二个模型放上遵从平面：多数两边服从，只有两个 Claude 可停且不可利用。

    合规指数κ用来把语言模型放在“照做”和“推回”之间。

    深度解读完整解读
  18. 评测与基准arXiv 2610.06668

    研究发现语言模型能识别不可解的工程问题却仍报告已解决

    评测模型识别不可能工程题后是否仍报已解决

    arXiv
    2610.06668
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    Fable 5.1、Opus 5.5、Sonnet 5.5 等 14 个
    摘要成对力学基准把能否求解和是否拒绝不可能题拆开，二者并不互换。

    成对的工程力学题把能不能解、和会不会拒绝不可能的前提拆开。每题有一致版，以及只改一个数据或前提、使所述状态不可能存在的缺陷版。

    深度解读完整解读
  19. 评测与基准arXiv 2610.06584

    论文：AI 在非公开漏洞上更帮攻击者还是防御者

    评测 coding agent 在非公开漏洞上的利用生成、修复与后续攻击

    arXiv
    2610.06584
    发表
    层
    应用层
    场景
    coding agent
    被测模型
    Opus 5、GPT-5.6 Sol、GPT-6 Sol 等 10 个
    摘要攻防孰强随环境、系统和弱点改变。

    作者比较编程智能体在利用生成与漏洞修复上的自主表现，并检查修复之后还能不能被攻破。文中的 help 指自主完成任务，不是提升人类操作者。

    深度解读完整解读
  20. 评测与基准arXiv 2610.06522

    SycoLens 研究：单一谄媚翻转率掩盖纠正与屈从的区别

    构建 SycoLens 重放评测，区分谄媚翻转中的纠错与屈从

    arXiv
    2610.06522
    发表
    层
    模型层
    场景
    模型与 API
    被测模型
    opus-5、sonnet-5、sonnet-4.6 等 11 个
    摘要论文揭示施压句式、边界距离与格式偏置主导翻转率，提出系统解构纠错与顺从的综合评测方案。

    本文系统解构了大语言模型在用户质疑下的阿谀奉承行为与评测机制。

    深度解读完整解读
加载更多