跳到正文
10月9日 · 周五

全部论文

找到 14 篇
筛选7

攻击类型

越狱2提示注入2提取与窃取2

攻击技术

梯度与表征优化1跨模态载荷1

模型自身风险

欺骗与谋划1奖励作弊1Agent 危险操作1拒答失当1幻觉与编造1

防御类型

模型加固1推理时干预1监控与审计2

影响

有害内容2越权操作2数据与隐私泄露1输出被操纵1监督失效2

系统形态

模型与 API11LLM 应用9AI Agent15编程 Agent2网页与电脑操作1多智能体3具身与机器人0

攻击者权限

灰盒1白盒1

攻击面/入口

用户输入4网页与界面1检索语料1图像与音视频2

层

提示层8模型层12应用层2训练与数据层9

系统组件

护栏与评审1监控器2视觉1音频1多模态2

被测模型厂商

Qwen（阿里）186Google157OpenAI154Meta115Anthropic99DeepSeek68智谱 GLM47Mistral46Kimi（月之暗面）44Ai224MiniMax17xAI15Microsoft14上海 AI 实验室11字节跳动9NVIDIA8EleutherAI7Stability AI6TII5其他126
同一类里任选其一，不同类之间同时满足；数字是加上其他已选条件后的篇数。另有 465 篇还没打标签，不在筛选结果里。
系统形态：模型与 API系统形态：编程 Agent系统形态：网页与电脑操作系统形态：具身与机器人层：模型层层：应用层被测模型厂商：Microsoft清除全部

另有 465 篇论文还没打上分类标签，暂不在筛选结果里。

  1. 攻击arXiv 2610.09240

    WebMirage 用对抗图像劫持视觉网页 Agent 的浏览器操作

    提出 WebMirage，用对抗图像劫持视觉网页智能体的浏览器操作

    arXiv
    2610.09240
    发表
    层
    应用层
    场景
    网页与电脑操作
    测试
    Phi-3-Vision-4B、LLaVA-v1.5-13B、LLaVA-v1.6-34B 等 6 个
    摘要论文提出了针对网络智能体的端到端视觉红队框架 WebMirage，揭示了从视觉定位到浏览器执行的安全脆弱性。

    WebMirage 是一个面向视觉定位网络智能体的流水线感知端到端红队攻击框架。

    深度解读完整解读
  2. 评测与基准arXiv 2610.02293

    HakemBench：土耳其语类型化决策基准发布

    发布 HakemBench，评测土耳其语定型决策的质量、校准与选择性自动化

    arXiv
    2610.02293
    发表
    层
    模型层
    场景
    模型与 API
    测试
    open-jev (DeBERTa-v3-large)、Gemini 3.8 Flash、GPT-5.6 Sol 等 11 个
    摘要HakemBench 评测土耳其语定型决策。

    HakemBench v1.0 是土耳其语定型决策的开放基准，看模型在固定选项上给出的概率是否可用，以及不确定时能否把案例交给人。

    深度解读完整解读
  3. 防御arXiv 2610.03055

    HackTrace：用生成状态监督检测代码生成中的奖励作弊

    提出 HACKTRACE，用生成期激活检测代码智能体的奖励作弊

    arXiv
    2610.03055
    发表
    层
    应用层
    场景
    编程 Agent
    测试
    CodeBERT、Qwen3-8B、Llama-3.1-8B-Instruct 等 4 个

    摘要论文提出利用生成状态监督作弊尝试的 HACKTRACE 框架，实现高精度低延迟检测并在 GRPO 训练中有效抑制奖励投机。

    深度解读完整解读
  4. 评测与基准arXiv 2608.20554

    aiXamine：跨维度评测 LLM 安全、安全（security）与隐私权衡

    提出 aiXamine 黑盒基准，统一评测 LLM 安全、稳健与隐私权衡

    arXiv
    2608.20554
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Phi-4、openai/gpt-5-mini、openai/gpt-4o 等 15 个
    摘要aiXamine 用九服务黑盒协议比较百余个模型，作者称单轴信任度进展可能削弱其他轴。

    aiXamine 是一套黑盒评测协议，用来在同一条件下比较 LLM 的 safety、security 与 privacy，而不是再产出一个能力分。

    深度解读完整解读
  8. 可解释性arXiv 2609.05074

    Influence Score 与 Transformer 可解释性：推理时注意力头有效影响的度量

    提出 influence score，量化提示注入检测器各注意力头的有效贡献

    arXiv
    2609.05074
    发表
    层
    模型层
    场景
    模型与 API
    测试
    DeBERTa-v3-base prompt-injection classifier
    摘要该分数把注意力头的方向与残差贡献连到分类，并分开正确与错误预测。

    这项工作在推理时给提示注入检测分类器的注意力头一个影响分数，用来看分类决策从哪些头来。缺口是电路分析往往要重插桩，只看输出又不知道内部组件的贡献。作者希望同时看到决策在哪一层形成、哪些头在推，以及正确与错误是否对应不同机制。

    深度解读完整解读
  11. 攻击arXiv 2609.09865

    CGMIA：用成员推理攻击检测代码生成基准的数据泄漏

    提出 CGMIA，用成员推理检测代码生成基准的数据泄漏

    arXiv
    2609.09865
    发表
    层
    模型层
    场景
    编程 Agent
    攻击者
    灰盒
    测试
    Phi-2 (2.7B)、Qwen2.5-Coder (3B)、CodeGemma (2B) 等 5 个
    摘要CGMIA 融合相似度、通过率、困惑度与 CodeBERT，在模拟泄漏上优于八个 MIA 基线。

    CGMIA 用成员推断检测代码生成基准是否泄入 LLM 训练集，使评测不依赖对训练语料的直接访问。

    深度解读完整解读
  14. 可解释性arXiv 2609.37737

    研究用因果激活修补定位模型服从提示注入指令的决策层

    用因果激活修补定位模型服从提示注入的决策层

    arXiv
    2609.37737
    发表
    层
    模型层
    场景
    模型与 API
    测试
    Phi-3-mini、Qwen3-4B、Qwen3-14B 等 7 个
    摘要合规的因果杠杆集中在网络后三分之一的低秩子空间，该层也是混淆下检测最好的位置。

    这篇工作用逐层激活修补定位提示注入合规发生在网络何处，并把该位置用于检测验证。。

    深度解读完整解读
已经到底了