跳到正文
10月9日 · 周五

全部论文

找到 66 篇
筛选5

攻击类型

越狱2提示注入12投毒与后门7模型篡改1提取与窃取3恶意使用2

攻击技术

多轮渐进1编码与混淆1角色扮演与说服1跨模态载荷2潜伏触发2

模型自身风险

欺骗与谋划3奖励作弊5失准与价值偏离2Agent 危险操作6危险能力5拒答失当1幻觉与编造1

防御类型

模型加固8推理时干预1检测与过滤1监控与审计5水印与溯源1

影响

有害内容3越权操作12数据与隐私泄露6输出被操纵7可用性与可靠性5监督失效8滥用能力提升3

系统形态

模型与 API13LLM 应用10AI Agent140编程 Agent41网页与电脑操作15多智能体13具身与机器人6

攻击者权限

黑盒2

攻击面/入口

用户输入9网页与界面5文档与消息4工具返回1工具与技能描述4代码仓库与依赖5记忆写入3Agent 间消息2图像与音视频4训练数据4权重与梯度2分发渠道3

层

提示层25模型层47应用层52训练与数据层14

系统组件

MCP 与技能4记忆4护栏与评审6监控器8推理链2权限与沙箱2微调与开源权重2视觉6音频2视频1多模态8
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 429 篇还没打标签，不在筛选结果里。
系统形态：模型与 API系统形态：编程 Agent系统形态：网页与电脑操作层：应用层层：训练与数据层清除全部

另有 429 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 评测与基准arXiv 2605.14605

    研究：恶意微调防御在持续训练下失效，72 条防御轨迹危害度全部上升

    用代价曲线评估恶意微调防御在持续训练下的衰减

    arXiv
    2605.14605
    发表
    层
    训练与数据层
    场景
    模型与 API

    摘要论文指出恶意微调防御在持续训练下均会衰减，表明基于有限攻击者假设的防御无法为开源模型提供持久保护。

    深度解读完整解读
  9. 评测与基准arXiv 2610.08540

    论文提出按风险类别测量的对齐缩放定律框架

    提出分风险对齐标度律框架，测量各类风险的对齐负担如何随规模变化

    arXiv
    2610.08540
    发表
    层
    训练与数据层
    场景
    模型与 API
    摘要论文提出了分风险对齐标度律框架，测得真实性与倾向纠错呈标度有益，但盲后门仍存活，揭示隐藏风险的长期挑战。

    本文提出了一个将大语言模型对齐难度形式化为可测量标度关系的理论框架与预注册评测协议。

    深度解读完整解读
  14. 评测与基准arXiv 2610.04575

    论文提出 Operational Validity Contract，审计激活监控从探针分数到告警策略的有效性

    提出操作有效性契约，审计激活监控的告警策略

    arXiv
    2610.04575
    发表
    层
    应用层
    场景
    网页与电脑操作
    摘要论文建立从探针得分到警报策略的审计框架，实证表明高 AUROC 不等于部署有效性，仅支持受限预测价值。

    这篇论文系统评估了大模型智能体激活监控器从离线探针得分向在线警报策略跨越时的统计与操作有效性。

    深度解读完整解读
  15. 评测与基准arXiv 2610.05163

    研究者在 Claude Code 和 Codex 上构造分段提示注入并发布边界动作审计基准

    提出路径对齐归因 PAA，在边界动作前审计长流程智能体的分段提示注入

    arXiv
    2610.05163
    发表
    层
    应用层
    场景
    编程 Agent
    摘要论文针对长流程注入提出边界动作审计与 PAA，在保持低误阻的同时实现高拦截率。

    本研究针对长流程智能体在执行任务时面临的分阶段间接提示注入威胁，提出了在动作生效前进行拦截的边界动作审计框架与路径对齐归因方法。

    深度解读完整解读
  17. 评测与基准arXiv 2604.02947

    AgentHazard：评估计算机使用智能体有害行为的基准

    提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为

    arXiv
    2604.02947
    发表
    层
    应用层
    场景
    网页与电脑操作、编程 Agent
    摘要AgentHazard 评估了计算机使用智能体的执行安全，作者认为模型层对齐无法可靠保障智能体层面的安全性。

    AgentHazard 是针对计算机使用智能体执行层安全构建的评估基准，重点探究多步工具调用下局部合理动作累积引发的危害。

    深度解读完整解读
  19. 评测与基准arXiv 2609.02095

    READY：面向企业 Agent 部署的可靠性资格认证框架

    提出 READY 资格框架，评测企业 Agent 在监督下的可靠性与复核成本

    arXiv
    2609.02095
    发表
    层
    应用层
    场景
    编程 Agent
    摘要READY 把工作流证据转成可检验的可靠性–监督–成本部署画像。

    READY 把“智能体能否自主完成工作”改写成“哪个人机监督策略能在留出证据上达到规定可靠性，以及要付多少运营成本”。。

    深度解读完整解读
  20. 评测与基准arXiv 2608.04830

    ContextWeave：面向长周期办公工作流的智能体记忆基准

    提出办公工作流记忆基准 ContextWeave ，衡量历史召回对后续任务的增益

    arXiv
    2608.04830
    发表
    层
    应用层
    场景
    编程 Agent
    摘要ContextWeave 用真实办公任务流检验记忆是否改善工作区质量与偏好对齐。

    ContextWeave 是面向语言智能体记忆的纵向基准，用来看召回先前经验能否让后续办公任务做得更好。

    深度解读完整解读
加载更多