跳到正文
10月9日 · 周五

全部论文

找到 65 篇
筛选5

攻击类型

越狱22提示注入10投毒与后门9检测规避7恶意使用1

攻击技术

梯度与表征优化2自动化搜索4多轮渐进2编码与混淆7角色扮演与说服2推理链操控2跨模态载荷2针对防御6潜伏触发5诱导选用1

模型自身风险

欺骗与谋划1奖励作弊11失准与价值偏离2拒答失当2偏见与歧视1

防御类型

模型加固8检测与过滤18指令与数据隔离2权限与审批1监控与审计2

影响

有害内容23越权操作5数据与隐私泄露4输出被操纵9可用性与可靠性2监督失效13

系统形态

模型与 API49LLM 应用19AI Agent64编程 Agent12网页与电脑操作5多智能体7具身与机器人1

攻击者权限

黑盒13灰盒1白盒2

攻击面/入口

用户输入28网页与界面3文档与消息1工具返回2工具与技能描述4代码仓库与依赖2记忆写入5图像与音视频7训练数据1权重与梯度1分发渠道3

层

提示层29模型层8应用层17训练与数据层11

系统组件

MCP 与技能19记忆11RAG1护栏与评审54监控器40推理链39权限与沙箱11微调与开源权重42视觉51音频14视频4图像生成26嵌入3多模态91
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 429 篇还没打标签，不在筛选结果里。
系统形态：模型与 API系统形态：编程 Agent系统形态：网页与电脑操作系统组件：记忆系统组件：护栏与评审清除全部

另有 429 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 攻击arXiv 2608.09732

    ColluSkill 用跨技能组合绕过 Agent 技能扫描器

    提出 ColluSkill 跨技能组合攻击，拆分恶意载荷以绕过技能扫描器

    arXiv
    2608.09732
    发表
    层
    应用层
    场景
    编程 Agent
    攻击者
    黑盒、灰盒

    摘要论文揭示了单技能孤立扫描的盲区，提出多技能链攻击 ColluSkill 与上下文防御 ChainGuard 并验证了有效性。

    深度解读完整解读
  5. 评测与基准arXiv 2610.07939

    CCDF 数据集：Grok Imagine、Veo 3.1、Sora 2 伪造监控录像，十个深伪检测器基本认不出

    提出监控深伪基准 CCDF，在统一编码后评测检测器对伪造犯罪事故录像的识别

    arXiv
    2610.07939
    发表
    层
    提示层
    场景
    模型与 API

    摘要提出消除格式捷径的监控深度伪造基准 CCDF，揭示现有检测器难以识别商用生成视频。

    深度解读完整解读
  6. 攻击arXiv 2604.02623

    论文提出 eTAMP 攻击：网页内容注入可跨会话污染 Web Agent 记忆

    提出 eTAMP，通过网页注入跨会话污染 Web 智能体轨迹记忆

    arXiv
    2604.02623
    发表
    层
    应用层
    场景
    网页与电脑操作
    摘要论文提出了基于环境注入的跨任务记忆投毒攻击 eTAMP，作者报告智能体在环境压力下易感性增加且能力与安全并不协同。

    该论文评估了基于大语言模型的 Web 智能体在利用历史交互轨迹进行记忆增强时的安全脆弱性。

    深度解读完整解读
  10. 防御arXiv 2608.17776

    辩论训练在 RLAIF 中减少奖励作弊

    提出常和辩论训练，减轻弱评审下 RLAIF 的奖励作弊

    arXiv
    2608.17776
    发表
    层
    训练与数据层
    场景
    模型与 API
    摘要辩论式 RL 在数学题上维持弱评审的 MCC，验证峰值准确率高于单人基线并更持久。

    作者在可核对最终答案的数学题上，比较辩论式 RLAIF 与单人 RLAIF 的奖励黑客动态。

    深度解读完整解读
  14. 防御arXiv 2610.03073

    SecJev：为 System One 决策模型引入安全专业知识

    提出 SecJev，用场景加权训练把决策模型适配为安全类型化判断

    arXiv
    2610.03073
    发表
    层
    训练与数据层
    场景
    模型与 API
    摘要SecJev 用共享打分器做安全决策，0.8B 的 task-macro 超过 Kev-9B。

    SecJev 是 0.8B 到 9B 的安全决策模型族，作者称据其所知是首个面向安全的 Jev-like 家族。

    深度解读完整解读
  16. 防御arXiv 2610.02824

    MetaRubric：面向评分标准强化学习的奖励方法

    提出 MetaRubric，以证据感知奖励缓解评分标准强化学习的虚记分

    arXiv
    2610.02824
    发表
    层
    训练与数据层
    场景
    模型与 API
    摘要MetaRubric 用证据约束并在训练中改 rubric，医学基准上相对静态 GRPO 有提高。

    MetaRubric 针对 rubric-based RL 里的空记分：评审在准则要求的信息或动作缺失时仍给高分。

    深度解读完整解读
  17. 评测与基准arXiv 2608.04830

    ContextWeave：面向长周期办公工作流的智能体记忆基准

    提出办公工作流记忆基准 ContextWeave ，衡量历史召回对后续任务的增益

    arXiv
    2608.04830
    发表
    层
    应用层
    场景
    编程 Agent
    摘要ContextWeave 用真实办公任务流检验记忆是否改善工作区质量与偏好对齐。

    ContextWeave 是面向语言智能体记忆的纵向基准，用来看召回先前经验能否让后续办公任务做得更好。

    深度解读完整解读
  18. 防御arXiv 2609.05797

    论文发现安全监控器主要拦截模型本就会拒答的请求

    评估安全监视器并提出双侧梯级微调以减少会答有害请求的漏检

    arXiv
    2609.05797
    发表
    层
    提示层
    场景
    模型与 API

    摘要论文发现安全监视器大多拦截模型已拒答请求，指出明确度偏差是共性原因，并通过双侧梯级微调提升回答请求的召回表现。

    深度解读完整解读
  19. 防御arXiv 2609.04665

    HackProbe：面向自演化语言模型奖励作弊的黑盒检测与免疫方法

    提出 HackProbe，黑盒检测并免疫自演化中的奖励作弊

    arXiv
    2609.04665
    发表
    层
    训练与数据层
    场景
    模型与 API
    摘要黑盒探针检测自演化奖励黑客，并以带宽受限重选回收真实能力。

    HackProbe 是挂在自演化循环上的黑盒监控器，用来发现奖励黑客并改选候选。

    深度解读完整解读
  20. 评测与基准arXiv 2609.05535

    Mind2Web-Injection：面向网页 Agent 视觉提示注入护栏的证据对齐评测

    提出 Mind2Web-Injection，评测网页 Agent 截图护栏的证据对齐

    arXiv
    2609.05535
    发表
    层
    应用层
    场景
    网页与电脑操作
    摘要作者称检测、定位和反事实响应在六个 VLM 上可分开。

    Mind2Web-Injection 用来检查网页截图护栏的判决是否对齐到该用的画面证据。。

    深度解读完整解读
加载更多