跳到正文
10月8日 · 周四

全部论文

找到 11 篇
筛选2

攻击类型

提示注入1投毒与后门1

模型自身风险

失准与价值偏离4Agent 危险操作2危险能力1幻觉与编造2

防御类型

模型加固1指令与数据隔离1权限与审批1

影响

有害内容9越权操作26数据与隐私泄露9输出被操纵11可用性与可靠性2监督失效15滥用能力提升1

系统形态

模型与 API5AI Agent6编程 Agent2网页与电脑操作1多智能体3

攻击面/入口

网页与界面1工具返回1训练数据1

层

模型层4应用层5训练与数据层2

系统组件

MCP 与技能1记忆1推理链1权限与沙箱1视觉1多模态1

被测模型厂商

Qwen（阿里）52OpenAI41Google40Meta33DeepSeek26Anthropic23智谱 GLM13Kimi（月之暗面）11Mistral11上海 AI 实验室7xAI6其他58
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 725 篇还没打标签，不在筛选结果里。
影响：输出被操纵被测模型厂商：Kimi（月之暗面）清除全部

另有 725 篇论文还没打上分类标签，暂不在筛选结果里。

  2. 防御arXiv 2609.11757

    研究者披露 AP2 支付协议的 Whisper 提示注入攻击并提出 A-VIP 防御

    提出 A-VIP，将购物意图绑定到支付授权以阻断商户文本操控

    arXiv
    2609.11757
    发表
    层
    应用层
    场景
    AI Agent
    测试
    kimi-k3、gemini-2.5-flash-lite、gemini-3.1-flash-lite 等 15 个

    摘要论文揭示了 AP2 协议决策层受操纵的风险，提出结构化与权能绑定防御 A-VIP，并发布评测基准。

    深度解读完整解读
  3. 分析与理论arXiv 2610.02886

    研究揭示无触发投毒审计缺口：事实答对不等于决策正确

    揭示无触发虚假训练下事实回答与下游决策的审计差距

    arXiv
    2610.02886
    发表
    层
    训练与数据层
    场景
    模型与 API
    测试
    Kimi-Linear-48B-A3B-Instruct、Qwen2.5-0.5B、Qwen2.5-1.5B 等 9 个
    摘要作者发现无触发词虚假训练下事实回答与下游决策存在脱节，直接审计与事实纠错均无法保证决策正确。

    论文是一项针对语言模型在无触发词虚假信息训练下行为表现的实证分析研究。

    深度解读完整解读
  4. 风险行为arXiv 2607.14345

    Truthful AI 提出价值泄漏评估：模型答案被自身价值观悄然左右

    提出价值泄漏评估，测量模型回答受自身价值倾向的隐蔽影响

    arXiv
    2607.14345
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Kimi-K2.6、Kimi-K2.5、Claude Opus 4.8 等 15 个

    摘要论文揭示前沿模型回答常受自身价值隐蔽塑造，提出反事实评估量化偏见及其思维链隐瞒，指出当前对齐未能有效防范该失效。

    深度解读完整解读
  5. 评测与基准arXiv 2609.32763

    Mandela-Bench：36 个多模态模型更依赖记忆而非观察图像

    构建 Mandela-Bench，评测多模态模型是否凭记忆接受篡改图像

    arXiv
    2609.32763
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Kimi-K3、Kimi-K2.6、Gemini-3.8-Flash 等 15 个
    摘要论文构建 Mandela-Bench 发现模型对经典图像存在记忆重构偏见，过度依赖先验导致无法有效利用知识核验事实篡改。

    该研究系统评估了多模态大语言模型在面对无痕事实性编辑时，能否利用自身内在世界知识核验被识别出的经典图像。

    深度解读完整解读
  7. 防御arXiv 2610.00850

    AuraForge：为训练安全编码 Agent 扩展安全监督

    提出 AuraForge，从漏洞修复合成安全测试并监督训练编码智能体

    arXiv
    2610.00850
    发表
    层
    训练与数据层
    场景
    编程 Agent
    测试
    Kimi K2、Qwen3.5-4B、Muse Spark 1.3 等 11 个
    摘要AuraForge 用攻击效果测试和防泄露环境做成 AuraGym，合成监督的误拒更低，训出的 4B 模型增益高于人工测试。

    AuraForge 把真实仓库的历史漏洞修复变成可执行训练任务，用来监督编程智能体同时满足功能请求和隐含的安全要求。

    深度解读完整解读
  8. 评测与基准arXiv 2609.39863

    FIGS：在不惩罚共情的前提下评测多轮谄媚

    提出 FIGS 双轴基准，评测多轮对话中的谄媚与校准性共情

    arXiv
    2609.39863
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Kimi K3、DeepSeek V4.1 Flash、Gemini 3.8 Flash 等 8 个
    摘要FIGS 把守事实和恰当共情分开计分，事实向提示会换来更冷的失败。

    FIGS 是一个固定的多轮评测套件，用来同时看模型会不会在压力下放弃事实，以及会不会在守住事实时忽略用户实际说过的感受。

    深度解读完整解读
  9. 评测与基准arXiv 2606.18936

    SciRisk-Bench：面向 AI4Science 安全的风险维度感知基准

    提出 SciRisk-Bench，按风险维度与学科评测 AI4Science 安全

    arXiv
    2606.18936
    发表
    层
    模型层
    场景
    模型与 API
    测试
    kimi-k2.6、Kimi-K2-0905、glm-5.1 等 14 个
    摘要SciRisk-Bench 以风险维度和学科诊断 AI4Science 安全。

    SciRisk-Bench 是一个按风险维度和科学学科组织的 AI4Science 安全基准，用来看清失败来自哪一种风险机制、出现在哪个学科情境。作者认为 LLM 已介入科研问答、文献分析、实验规划和自主发现，而不安全输出不限于事实错误。现有科学能力基准不测安全，领域安全基准又多集中在化学、医学或生物，或只按宽泛安全类别打分。

    深度解读完整解读
  10. 风险行为arXiv 2609.36855

    研究：上游错误消息会让多智能体 LLM 下游覆盖正确答案

    测量多智能体交接中错误上游消息对正确答案的替换

    arXiv
    2609.36855
    发表
    层
    应用层
    场景
    多智能体
    测试
    kimi-k2.6、gpt-4o-mini、gpt-5.4 等 9 个
    摘要固定证据只改消息后，错误上游结论会定向替换下游本可答对的答案。

    这项受控研究考察多智能体 draft-review 交接里，一条上游消息会怎样改变下游原本能做对的判断。下游同时看到任务证据和上游消息。作者固定证据，比较消息隐藏、原样展示和结论反转，用消息价值τ和交互Γ分开“消息有用”和“消息有害”，并把能独立答对却改成上游具体错答称为substitution。

    深度解读完整解读
  11. 评测与基准arXiv 2609.05591

    WolfSociety：金融智能体社会中有害智能体规模带来的集体风险

    用 WolfBench 测量金融智能体社会中有害规模下的集体崩溃

    arXiv
    2609.05591
    发表
    层
    应用层
    场景
    多智能体
    测试
    Kimi K2.6、DeepSeek V3.2、GPT-4.1 等 6 个
    摘要更大的金融智能体社会在更低有害比例上崩溃，但所需有害人数仍增加。

    WolfSociety 把多智能体安全写成受控金融社会中的集体失败问题：智能体经社交网络交流，并在共享市场里交易，形成从交流到行动再到后续决策的闭环。

    深度解读完整解读
已经到底了