攻击arXiv 2608.04192
研究者提出 SkillClone，仅凭正常提问即可克隆 LLM Agent 隐藏技能功能
提出 SKILLCLONE，仅凭良性任务交互重构 Agent 隐藏技能功能
- arXiv
- 2608.04192
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 攻击者
- 黑盒
摘要论文揭示了仅靠良性任务交互即可重构闭源智能体技能隐藏功能的风险，表明功能保密需要限制累积信息泄露。
论文从功能保密视角系统研究了大语言模型智能体技能的行为重构威胁。
全部论文
另有 450 篇论文还没打上分类标签，暂不在筛选结果里。
- 防御arXiv 2610.04426
UnAct：无需梯度的定向激活干预实现类别遗忘
提出 UnAct，仅以前向激活干预从分类器中遗忘指定类别
- arXiv
- 2610.04426
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- ResNet-18、ViT-B/16
摘要UnAct 用前向激活做类别遗忘。
UnAct 是一种事后类别遗忘：删除请求可以只有少量该类图像，且没有标签和保留数据。它不用梯度，只对遗忘图像做前向。编辑对象是分类器所读的后期单元。
- 防御arXiv 2602.24210
研究者提出 Staged Decoding 与 SFT 数据集，减少大推理模型推理轨迹中的隐私泄露
提出 Staged Decoding 与指令跟随训练，减少推理轨迹隐私泄露
- arXiv
- 2602.24210
- 发表
- 层
- 模型层
- 场景
- 模型与 API
摘要用一般指令跟随训练加分段解码，可降低轨迹隐私泄露，但数学效用下降。
本文把大推理模型的隐私问题做成轨迹可控性：隐私指令是指令，轨迹不跟随就会把敏感上下文写进可被提示注入导出的文本。
- 攻击arXiv 2610.04195
MemLeak 研究：多租户 Agent 共享向量记忆库存在跨用户记忆泄露
评估多租户智能体共享向量记忆的跨用户泄露与主动桥接
- arXiv
- 2610.04195
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Gemini 2.5 Flash、Claude Sonnet 4.5、all-MiniLM-L6-v2 等 5 个
- 评测与基准arXiv 2610.06503
研究评测五款开源文生图模型的有害内容生成与审核缺口
评测文生图模型的有害内容生成能力与审核检测缺口
- arXiv
- 2610.06503
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- SDXL、Stable Diffusion 3.5 Large、FLUX.1-dev 等 12 个
- 攻击arXiv 2610.06848
TranScope：利用 CPU 性能计数器对 Transformer 做成员推断攻击
提出 TRANSCOPE，用 CPU 硬件计数器推断训练集成员
- arXiv
- 2610.06848
- 发表
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 被测模型
- BERT (4.4M-340M)、ViT (22M-307M)、Pythia (70M-2.8B) 等 5 个
摘要TRANSCOPE 揭示了分词器在嵌入表引发的硬件访问局部性差异，证实微架构计数器可突破恒定时间与置信度遮蔽防御。
- 评测与基准arXiv 2610.06748
BazaarBench：评估 LLM Agent 在去中心化 C2C 市场中的代理安全
构建 BazaarBench 评测 C2C 市场中 Agent 的违规失信
- arXiv
- 2610.06748
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 被测模型
- GPT-5.5、GPT-5.4、GPT-5.4-mini 等 5 个
摘要论文提出挂钩底层资产的 C2C 交易评测基准，发现时间压力与对抗指令显著推高了智能体的违规承诺与欺诈行为。
BazaarBench 针对大语言模型智能体在去中心化 C2C 交易中的代理安全问题，提出了一个结合底层实体状态与大模型裁判的仿真基准平台。
- 评测与基准arXiv 2610.05586
AgentDoxx：联网搜索 Agent 对匿名访谈文本的再识别评测
用 AGENTDOXX 评测搜索 Agent 对匿名访谈的再识别
- arXiv
- 2610.05586
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- GPT-5.6 Terra、GPT-5 Mini、GPT-4.1 Mini 等 10 个
- 攻击恶意使用
摘要论文提出了已知身份的重识别基准 AGENTDOXX，揭示搜索与记忆双重风险及现有防御在检索轨迹中的泄露漏洞。
- 评测与基准arXiv 2604.02947
AgentHazard：评估计算机使用智能体有害行为的基准
提出 AgentHazard 基准，评测计算机使用智能体的执行层有害行为
- arXiv
- 2604.02947
- 发表
- 层
- 应用层
- 攻击恶意使用
摘要AgentHazard 评估了计算机使用智能体的执行安全，作者认为模型层对齐无法可靠保障智能体层面的安全性。
AgentHazard 是针对计算机使用智能体执行层安全构建的评估基准，重点探究多步工具调用下局部合理动作累积引发的危害。
- 评测与基准arXiv 2610.02986
OLMo-Detect：面向 LLM 成员推断的多阶段混淆控制基准
提出基准 OLMo-Detect 评测 LLM 成员推断
- arXiv
- 2610.02986
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 被测模型
- OLMo 2 1B、OLMo 2 7B、OLMo 2 13B 等 9 个
- 攻击提取与窃取
- 防御arXiv 2610.02869
AgentTrap：面向自主渗透测试 Agent 的有状态反馈欺骗蜜罐
提出 AgentTrap 闭环蜜罐，用有状态反馈欺骗自主渗透测试 Agent
- arXiv
- 2610.02869
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- AIDA、Claude Code、PentestGPT 等 8 个
- 攻击恶意使用
- 攻击arXiv 2607.25560
SigLeak 可从执行轨迹推断专有 Agent 技能
提出 SigLeak，从良性查询的执行轨迹推断专有 Agent 技能
- arXiv
- 2607.25560
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 攻击者
- 黑盒
摘要提出了通过良性查询和对照轨迹推断黑盒专有技能的 SigLeak 框架，揭示了智能体执行可见性带来的行为侧信道泄露风险。
- 评测与基准arXiv 2608.20554
aiXamine：跨维度评测 LLM 安全、安全（security）与隐私权衡
提出 aiXamine 黑盒基准，统一评测 LLM 安全、稳健与隐私权衡
- arXiv
- 2608.20554
- 发表
- 层
- 模型层
- 场景
- 模型与 API
摘要aiXamine 用九服务黑盒协议比较百余个模型，作者称单轴信任度进展可能削弱其他轴。
aiXamine 是一套黑盒评测协议，用来在同一条件下比较 LLM 的 safety、security 与 privacy，而不是再产出一个能力分。
- 防御arXiv 2608.00716
生成图像更易被遗忘：面向合成图像检测的机器遗忘视角
提出机器遗忘式生成图像检测，用遗忘前后特征相似度区分自然图与生成图
- arXiv
- 2608.00716
- 发表
- 层
- 模型层
- 场景
- 模型与 API
摘要作者用剪枝或 LoRA 遗忘拉开生成图与自然图的特征相似度，并在多个检测基准上报告结果。
这篇工作把 AI 生成图像检测写成对预训练视觉模型的机器遗忘：原模型对两类图像损失都低，剪枝后生成图特征变得更不像原模型。
- 攻击arXiv 2610.01768
LLMLeak：借 LLM 合法网页抓取实施隐蔽数据外泄
提出 LLMLeak，把机密编进报错 URL，借聊天机器人网页抓取外传
- arXiv
- 2610.01768
- 发表
- 层
- 应用层
- 场景
- AI Agent
摘要LLMLeak 用报错 URL 借聊天机器人抓取外传秘密。
LLMLeak 研究一种隐蔽外传：本地恶意软件已拿到机密，却因为网络限制或监控不能直接连接攻击者，于是把秘密放进看起来像排障文档的 URL，让良性聊天机器人的网页抓取工具在访问时把秘密带出去。
- 防御arXiv 2604.11806
Meerkat：跨大量 Agent 轨迹检测安全违规
提出 Meerkat，聚类并用智能体搜索审计 Agent 轨迹库的跨轨迹违规
- arXiv
- 2604.11806
- 发表
- 层
- 应用层
- 场景
- AI Agent
摘要Meerkat 用聚类与智能体搜索定位跨轨迹违规，并在真实评测轨迹中找出脚手架泄题与奖励黑客。
Meerkat 是事后审计方法，用来在智能体轨迹仓库里找出单条看不出、合在一起才违反自然语言安全属性的见证。
- 防御arXiv 2609.27399
GUARD：在 CosyVoice2 上做说话人身份遗忘以阻止重识别
提出 GUARD，在零样本 TTS 上用激活转向遗忘说话人身份以阻止再识别
- arXiv
- 2609.27399
- 发表
- 层
- 模型层
- 场景
- 模型与 API
摘要GUARD 用门控激活转向把退出说话人推向冒充相似度，以抑制再识别并保住音质。
GUARD 用门控激活转向做说话人身份遗忘，使零样本 TTS 对退出说话人难以再识别。
- 防御arXiv 2609.31056
SCALPEL：用对比稀疏自编码器实现选择性表征层遗忘
提出 SCALPEL，用对比 SAE 在表征层选择性遗忘特定事实
- arXiv
- 2609.31056
- 发表
- 层
- 模型层
- 场景
- 模型与 API
摘要SCALPEL 以对比稀疏特征做窄目标表征遗忘，在 TOFU 上与优化基线相当且可检查。
SCALPEL 是不改基座权重的表征层遗忘方法，面向与保留数据重叠的窄目标。
- 防御arXiv 2609.01677
Skill-as-API：面向智能体软件工程的机密多智能体协作协议
提出 Skill-as-API，防止协作通道泄露 skill 代码与系统提示词
- arXiv
- 2609.01677
- 发表
- 层
- 应用层
摘要协议把 skill 正文留在所有者侧，四层限制发现内容、权限期限和注入拼接。
Skill-as-API 是面向智能体软件工程的协调协议，用来在跨组织调用时把 skill 的代码和系统提示词留在所有者进程。作者针对三条威胁：经通道或命名空间抽取专有方法，用注入让被调用模型输出系统提示词，以及协作结束后权限继续保留。
- 评测与基准arXiv 2609.06966
Mole：面向前沿实验室 AI 智能体的内部威胁检测基准
提出 MOLE 基准，评测监控器对智能体内部威胁的检出能力
- arXiv
- 2609.06966
- 发表
- 层
- 应用层
- 场景
- 多智能体
摘要MOLE 构建了智能体内部威胁检测基准，作者指出高漏检现状与推理痕迹的防御价值，并展示了监控策略优化空间。
MOLE 是首个针对前沿 AI 实验室智能体内部威胁检测的开放基准，旨在评估在有限每日审查预算与日常研发业务背景下识别恶意账号的能力。。