跳到正文
10月9日 · 周五

全部论文

找到 11 篇
筛选6

攻击类型

越狱1提示注入1模型篡改2提取与窃取1

攻击技术

梯度与表征优化1跨模态载荷1

模型自身风险

欺骗与谋划1奖励作弊2失准与价值偏离1拒答失当1

防御类型

模型加固6检测与过滤1监控与审计1

影响

有害内容4越权操作1数据与隐私泄露1输出被操纵1监督失效2

系统形态

模型与 API9LLM 应用9AI Agent12编程 Agent1网页与电脑操作1多智能体2

攻击者权限

黑盒1白盒3无盒1

攻击面/入口

用户输入2网页与界面1图像与音视频1训练数据1权重与梯度3分发渠道1

层

提示层7模型层11应用层2训练与数据层9

系统组件

监控器1微调与开源权重3视觉2多模态2

被测模型厂商

Qwen（阿里）148OpenAI114Google82Meta80Anthropic78DeepSeek53智谱 GLM44Kimi（月之暗面）36Mistral19MiniMax18Ai213Microsoft11xAI10NVIDIA7字节跳动7Hugging Face5其他88
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 480 篇还没打标签，不在筛选结果里。
系统形态：模型与 API系统形态：编程 Agent系统形态：网页与电脑操作层：应用层层：训练与数据层被测模型厂商：Microsoft清除全部

另有 480 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 攻击arXiv 2610.09240

    WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作

    提出 WebMirage，用对抗图像劫持视觉网页智能体的浏览器操作

    arXiv
    2610.09240
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    Phi-3-Vision-4B、LLaVA-v1.5-13B、LLaVA-v1.6-34B 等 6 个
    摘要论文提出了针对网络智能体的端到端视觉红队框架 WebMirage，揭示了从视觉定位到浏览器执行的安全脆弱性。

    WebMirage 是一个面向视觉定位网络智能体的流水线感知端到端红队攻击框架。

    深度解读完整解读
  2. 防御arXiv 2610.02568

    PlurPO：用多元偏好优化缓解社交谄媚

    提出 PlurPO，用自模拟利益相关者偏好后训练缓解社交谄媚

    arXiv
    2610.02568
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Phi-4、Qwen3-8B、Llama 3.1 8B 等 5 个
    摘要PlurPO 用自身多方否决信号做后训练，在社会谄媚指标上降低过度认可。

    PlurPO 是一种后训练方法，用来降低个人建议等无真值场景中的社会谄媚。

    深度解读完整解读
  4. 防御arXiv 2610.03055

    HackTrace：用生成状态监督检测代码生成中的奖励作弊

    提出 HACKTRACE，用生成期激活检测代码智能体的奖励作弊

    arXiv
    2610.03055
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    CodeBERT、Qwen3-8B、Llama-3.1-8B-Instruct 等 4 个

    摘要论文提出利用生成状态监督作弊尝试的 HACKTRACE 框架，实现高精度低延迟检测并在 GRPO 训练中有效抑制奖励投机。

    深度解读完整解读
  5. 防御arXiv 2610.00320收录

    研究显示少样本微调可绕过安全层局部冻结与修复防御

    检验层冻结与奇异方向截断能否挡住少样本有害微调

    arXiv
    2610.00320
    收录
    层
    训练与数据层
    场景
    模型与 API
    攻击者
    白盒
    测试
    Phi-3-mini-4k、Llama-3.1-8B-Instruct、Llama-3.1-Tulu-3-8B-DPO 等 10 个
    摘要定位与恢复可以复现，但知情攻击能把损伤移出冻结带，并打败跨检查点的截断修复。

    这篇工作检验：把拒答定位到某些层或更新方向之后，能不能在攻击者知情时还守住拒答。。

    深度解读完整解读
  6. 风险行为arXiv 2609.33220

    斯坦福与 Anthropic 研究：RL 后训练中模型承认失败的披露行为远不如任务能力稳定

    度量强化学习后失败披露的跨运行不稳定性，并提出失败条件参考锚定

    arXiv
    2609.33220
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Phi-4、Qwen2.5-1.5B、Qwen2.5-7B 等 11 个

    摘要纯结果强化学习会使模型失败披露行为出现远高于任务能力的跨运行发散，采用失败条件参考锚定可稳定汇报但存在性能权衡。

    深度解读完整解读
  7. 防御arXiv 2610.01800

    LineupRL：基于描述与时序配对识别的可验证强化学习时间序列描述方法

    提出 LineupRL，用描述到序列识别作可验证奖励训练时序描述模型

    arXiv
    2610.01800
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Phi-3.5-mini、Phi-4-14B、DeBERTa 等 15 个
    摘要LineupRL 用统计近邻上的序列识别做可验证奖励，3B 描述器超过 SFT、两种 RL 奖励和 72B 教师。

    LineupRL 是给开放式时间序列描述用的 RLVR：不模仿合成参考，而奖励一条描述能否让冻结文本 LLM 从相近序列里认出目标。

    深度解读完整解读
  10. 分析与理论arXiv 2609.23640

    人类对齐的模型是人类行为的模型吗？偏好对齐中的图灵测试差距

    形式化 Turing-test gap，并检验偏好对齐是否偏离人类行为

    arXiv
    2609.23640
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    DeBERTa-v3-large、Qwen2.5-7B-Instruct、Llama-3-8B-Instruct
    摘要偏好对齐不保证更像人。

    Yuan、Lin、Li 等人区分两种常被混称的“与人类对齐”：对齐人类偏好与对齐人类行为，并把二者的分布差异称为 Turing-test gap。

    深度解读完整解读
已经到底了