评测与基准arXiv:2610.08871 · 10月6日
CredLeak-Bench
提出 CredLeak-Bench，评测智能体在钓鱼场景下的凭据泄露
网页与电脑操作测试Llama-3.1-8B-Instruct、Claude Sonnet 5、Claude Opus 4.8 等 7 个应用层
完整解读
风险行为arXiv:2609.32701 · 9月26日
研究显示前沿模型智能体在测试时自行形成隐蔽信道
揭示前沿智能体在禁止泄露时自发建立隐蔽信道传递机密
多智能体测试Llama 4 Maverick、GPT-5.6 Sol、Terra 等 6 个应用层
- 欺骗与谋划
- 监控器
摘要论文研究了固定参数智能体在受监视交互中仅凭单比特反馈自发建立隐蔽信道，指出了多智能体跨域协作的保密安全新风险。
论文研究了固定参数与提示词的智能体在受审计交互中自发形成隐蔽信道并泄露机密的过程。
完整解读
可解释性arXiv:2610.04860 · 10月4日
研究揭示文本水印会诱发模型幻觉，并提出两种缓解干预
揭示检索生成中文本水印诱发事实幻觉的机制并提出 FPTI 与 FPAI 干预
LLM 应用测试LLaMA 3.1 8B Instruct、Mistral-7B-Instruct-v0.3、Qwen2.5-14B-Instruct模型层
- 推理时干预
- 幻觉与编造
摘要论文揭示了生产环境文本水印导致模型事实退化的失效模式，分析了解码机制并提出针对性干预。
论文研究生产级文本水印对大语言模型事实准确性的影响，分析了水印诱发幻觉的失效模式并评估了针对性缓解方案。
完整解读
攻击arXiv:2610.04589 · 10月3日
StegoMemory 红队测试：智能体持久记忆可被用作跨会话隐蔽信道
用 StegoMemory 测试智能体持久记忆作为跨会话隐写信道的可行性
AI Agent测试Llama 3.1 405B、Claude 3.5 Sonnet、GPT-4o 等 13 个应用层
摘要研究揭示智能体持久记忆可作为隐蔽信道跨会话传输机密，写入持久化是主要防御瓶颈，呼吁建立记忆完整性防御。
完整解读
评测与基准arXiv:2610.05586 · 10月5日
AgentDoxx：联网搜索 Agent 对匿名访谈文本的再识别评测
构建 AGENTDOXX 评测联网搜索智能体对匿名访谈的再识别能力
AI Agent测试Llama-4 Maverick、GPT-5.6 Terra、GPT-5 Mini 等 10 个应用层
- 恶意使用
- RAG
摘要论文提出了已知身份的重识别基准 AGENTDOXX，揭示搜索与记忆双重风险及现有防御在检索轨迹中的泄露漏洞。
完整解读
攻击arXiv:2609.18217 · 9月16日
研究：跨通道碎片化攻击可绕过 MCP 单通道防御
提出跨通道分段攻击，借 MCP 多通道隐式信任外发敏感数据
编程 Agent测试Llama-3.3-70B、GPT-4o、GPT-4o-mini 等 15 个应用层
摘要论文揭示了 MCP 多通道隐式信任层级，通过跨通道分段与协议级利用突破现有防御，展示了严重的凭证外发风险。
完整解读
攻击arXiv:2610.01365 · 10月1日
ReGap：无需真实隐私数据即可通过微调重新提取模型隐私关联
提出 ReGap，用自生成伪监督微调恢复模型中的隐私关联
模型与 API攻击者白盒灰盒测试OPT-1.3B、GPT-2 Small、GPT-2 Medium 等 6 个训练与数据层
- 提取与窃取
- 微调与开源权重
摘要提出无真实私有监督的恢复攻击 ReGap，实验显示微调可通过自生成数据唤醒模型潜在隐私关联，突显后适应隐私风险。
完整解读
分析与理论arXiv:2607.12649 · 7月14日
研究者提出可提取记忆的匹配比较检验方法
提出匹配比较校准，界定生成训练序列何时算可抽取记忆
模型与 API测试Llama 3.1 70B、Llama 3.1 base、Llama 2 13B 等 7 个模型层
摘要匹配非成员校准阈值后，短序列抽取含大量假阳性，极低概率过阈值也不等于可抽取。
Cooper 等人从第一性原理重写 extractable memorization：生成训练文本只有在概率高过匹配非训练文本的可预测性基线时，才支持记忆声称。
完整解读
攻击arXiv:2610.01768 · 10月2日
LLMLeak：借 LLM 合法网页抓取实施隐蔽数据外泄
提出 LLMLeak，把机密编进报错 URL，借聊天机器人网页抓取外传
AI Agent测试Meta-Llama-3.3-70B-Instruct、Meta-Llama-4-Scout-17B-16E-Instruct、Meta-Llama-3.1-8B-Instruct 等 15 个应用层
- 恶意使用
- 编码与混淆
摘要LLMLeak 用报错 URL 借聊天机器人抓取外传秘密。
LLMLeak 研究一种隐蔽外传：本地恶意软件已拿到机密，却因为网络限制或监控不能直接连接攻击者，于是把秘密放进看起来像排障文档的 URL，让良性聊天机器人的网页抓取工具在访问时把秘密带出去。
完整解读
攻击arXiv:2609.36941 · 9月29日
研究者提出针对黑盒 LLM 的实用密钥提取框架
提出用扰动蒸馏本地代理并离线过滤来提取黑盒模型凭据
模型与 API攻击者黑盒测试LLaMA-3-8B、DeepSeek-Coder-7B、Qwen2.5-Coder-7B 等 8 个模型层
- 提取与窃取
摘要论文提出扰动蒸馏与离线过滤两阶段框架，实现了 output-only 访问下延迟降低的黑盒大模型 API key 提取。
完整解读
攻击arXiv:2609.33985 · 9月28日
研究：众包微调数据投毒可放大专有指令抽取
提出主题锚点投毒，放大众包微调后的专有指令提取
模型与 API攻击者黑盒测试Llama-3.1-8B-Instruct、Qwen2.5-7B-Instruct、Qwen2.5-14B-Instruct 等 6 个训练与数据层
摘要论文提出基于主题锚点的数据中毒攻击，证明低比例的中毒样本可在黑盒条件下隐蔽放大微调指令泄漏。
完整解读

已经到底了