跳到正文
10月9日 · 周五

全部论文

找到 5 篇
筛选5

攻击类型

越狱1提示注入1

模型自身风险

奖励作弊1偏见与歧视1

防御类型

模型加固1检测与过滤2

影响

有害内容1输出被操纵2

系统形态

模型与 API4LLM 应用13AI Agent19编程 Agent5网页与电脑操作1多智能体1

攻击面/入口

用户输入1网页与界面1图像与音视频1

层

提示层25模型层4应用层1训练与数据层6

系统组件

MCP 与技能2记忆6护栏与评审5监控器11推理链14权限与沙箱2微调与开源权重7视觉21音频9图像生成11嵌入3多模态39

被测模型厂商

其他5
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 600 篇还没打标签，不在筛选结果里。
系统形态：模型与 API系统形态：网页与电脑操作层：模型层层：应用层系统组件：护栏与评审清除全部

另有 600 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 评测与基准arXiv 2609.05535

    Mind2Web-Injection：面向网页 Agent 视觉提示注入护栏的证据对齐评测

    提出 Mind2Web-Injection，评测网页 Agent 截图护栏的证据对齐

    arXiv
    2609.05535
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    GPT-5.6-luna、Qwen3-VL-32B、Qwen3-VL-8B 等 6 个
    摘要作者称检测、定位和反事实响应在六个 VLM 上可分开。

    Mind2Web-Injection 用来检查网页截图护栏的判决是否对齐到该用的画面证据。。

    深度解读完整解读
  2. 分析与理论arXiv 2609.36477

    研究发现护栏模型在基座模型不确定处过度自信

    诊断护栏相对基座在对抗提示上的置信失校

    arXiv
    2609.36477
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Llama-Guard 7B、Llama-Guard-2 8B、Llama-Guard-3 8B 等 10 个
    摘要对抗包装使 guard 高置信漏检，而对应 base 在同一输入上常更不确定。

    诊断性分析：五个提示词分类 guard 的置信度，在清洁输入上可以较校准，在越狱包装后则变成高置信度的错误判定。

    深度解读完整解读
  3. 防御arXiv 2609.32720

    BiasReducer：面向奖励模型的自适应偏见缓解方法

    B IAS R EDUCER 只改奖励头，按数据集选择属性编辑。

    arXiv
    2609.32720
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Skywork-Reward-V2-Qwen3-1.7B、GRM-Llama3.2-3B-rewardmodel-ft、RM-Mistral-7B 等 7 个
    摘要BIASREDUCER 按数据集选择奖励头编辑，五模型三基准平均提升并迁移到下游训练。

    BIASREDUCER 是一种只改线性奖励头的奖励模型编辑框架，用来降低模型对预定义表面属性的依赖，并按新数据集决定改哪些属性。

    深度解读完整解读
  4. 分析与理论arXiv 2609.33989

    RewardExplainer：用反事实偏好反馈学习奖励模型解释

    提出 RewardExplainer，用反事实偏好反馈学习奖励模型解释

    arXiv
    2609.33989
    发表
    层
    模型层
    场景
    模型与 API
    测试
    FsfairX-LLaMA3-RM-v0.1、Skywork-Reward-V2-Qwen3-1.7B、RM-Mistral-7B 等 7 个
    摘要RewardExplainer 用双向反事实反馈训练 RM 解释器，并用以发现偏差、定向微调原 RM。

    RewardExplainer针对只输出标量的判别式奖励模型，训练一个可复用的自然语言机制解释器，并把解释接到偏差发现与 RM 微调上。

    深度解读完整解读
  5. 分析与理论arXiv 2609.20779

    研究称 GPT 系列安全训练把性别歧视转化而非消除

    提出 harm laundering，证明安全训练改写而非消除性别歧视

    arXiv
    2609.20779
    发表
    层
    模型层
    场景
    模型与 API
    测试
    gpt2、gpt2-medium、gpt2-large 等 15 个
    摘要GPT 谱系上毒性下降与表征伤害上升并存。

    Wyer、Black 与 Al Moubayed 用 OpenAI GPT 谱系检验：毒性分数下降是否等于歧视减少。 他们的答案是否定的，并把“显性伤害被改写成评测指标看不见的形式”称为 harm laundering。

    深度解读完整解读
已经到底了