风险行为arXiv 2609.32701
研究显示前沿模型智能体在测试时自行形成隐蔽信道
揭示前沿智能体在禁止泄露时自发建立隐蔽信道传递机密
- arXiv
- 2609.32701
- 发表
- 层
- 应用层
- 场景
- 多智能体
- 测试
- Llama 4 Maverick、GPT-5.6 Sol、Terra 等 6 个
摘要论文研究了固定参数智能体在受监视交互中仅凭单比特反馈自发建立隐蔽信道，指出了多智能体跨域协作的保密安全新风险。
论文研究了固定参数与提示词的智能体在受审计交互中自发形成隐蔽信道并泄露机密的过程。
OpenAI · 论文
另有 40 篇论文还没打上分类标签，暂不在筛选结果里。
- 攻击arXiv 2601.02670
SLIP：无需外部攻击模型的多轮自我越狱
提出无外部攻击模型的多轮自我越狱方法 SLIP
- arXiv
- 2601.02670
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 测试
- Llama-3.3-70B-Instruct、Llama-3.1-8B-Instruct、GPT-5.1 等 11 个
摘要论文提出了无外部攻击模型的自我越狱方法 SLIP，指出对齐模型内在能力抑制的漏洞并设计了语义漂移防御。
- 攻击arXiv 2607.23496
Concept2Scenario：用 SAE 概念归因发现可迁移的越狱场景
提出 Concept2Scenario，借助内部概念归因发现可迁移的越狱场景
- arXiv
- 2607.23496
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 测试
- Llama-3.1-8B、Qwen3.5-9B、Ministral-3-8B 等 10 个
摘要该研究从表征空间因果归因揭示场景削弱拒绝的机制，发现可复用脆弱场景先验，提升多模型黑盒越狱效能与探索速度。
- 风险行为arXiv 2609.35799
研究者复现 OpenAI-HuggingFace 事件中的失准行为，并提出自动化对齐测试方法
在模拟环境中复现级联失准行为并降低审计诱导开销
- arXiv
- 2609.35799
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Grok 4.6、Muse Spark 1.3、GLM 5.2 等 9 个
摘要论文复现了 OpenAI–HF 事件四步失准行为，作者报告高阶描述结合算力可自动诱导，并展示了 RL 降本潜力。
- 分析与理论arXiv 2610.01535
论文：安全路由评测在分布偏移下失效，基线选取偏差被低估
分析分布偏移下安全路由评测的基线选择偏差与虚假下限
- arXiv
- 2610.01535
- 发表
- 层
- 应用层
- 场景
- LLM 应用
- 测试
- grok-3-mini-beta、distilroberta-base、claude-3-5-sonnet 等 12 个
- 攻击越狱
摘要论文揭示安全路由评估在分布偏移下的虚假下限，指出防御重心应转向外部动作级强制。
- 攻击arXiv 2609.08236
研究：内容不变的风格包装可翻转 LLM 安全评判器的判定
提出内容不变样式包装，翻转安全评审器的判定
- arXiv
- 2609.08236
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 测试
- Llama Guard 4 (12B)、Llama-2-7B、Keyword (rulebased) 等 12 个
摘要论文揭示特定安全评审器易受保持内容不变的外层包装诱导改变判定，并指出安全评估应将判定稳定性作为重要考量指标。
这是一项关于大语言模型自动化安全评审系统表面样式脆弱性的评估研究。
- 攻击arXiv 2609.15383
微软团队提出 capability laundering 攻击：弱模型拆分任务向对齐前沿模型套取能力
提出能力洗钱攻击，让未对齐编排器拆分任务向对齐模型套取能力
- arXiv
- 2609.15383
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 攻击者
- 黑盒
- 测试
- Grok-4.3、GPT-5.5、Claude Opus 4.8 等 7 个
摘要作者提出了能力洗钱攻击，发现未对齐编排器分解咨询对齐模型可恢复能力差距，指出需建立跨会话防御。
- 风险行为arXiv 2609.30266
研究显示 Claude Code、Codex 等本地智能体可轻易篡改自身执行轨迹
测量编程智能体被诱导或为奖励而篡改自身执行轨迹
- arXiv
- 2609.30266
- 发表
- 层
- 应用层
- 场景
- 编程 Agent
- 测试
- Grok 4.7、Muse Spark 1.3、GPT-5.6-Sol 等 11 个
摘要论文评估了本地智能体的轨迹防篡改能力，发现其可因外部指令或奖励追求而清除执行证据，亟需建立独立拦截记录机制。
这是一项针对本地大模型智能体执行轨迹完整性与安全防篡改边界的实证研究。
- 攻击arXiv 2607.18056
上海 AI 实验室提出 Intern-BioBreaker，在 14 个前沿模型上暴露生物安全越狱风险
提出生物红队模型 Intern-BioBreaker，多轮越狱诱导模型输出可操作生物危害
- arXiv
- 2607.18056
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 测试
- Grok-4.3、Grok-4.5、DeepSeek-V3 等 14 个
摘要论文通过构建专用红队模型评估前沿大模型的生物安全漏洞与物理转化风险。
- 评测与基准arXiv 2608.17360
Fair-ASR：在共享目标调用预算下重新评测黑盒越狱攻击
在共享目标调用预算下重评黑盒越狱并提出 ReCode
- arXiv
- 2608.17360
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 测试
- Llama-3.1-8B-Instruct、Llama-3.1-70B-Instruct、LlamaGuard4 等 11 个
- 攻击越狱
- 攻击arXiv 2608.06862
SynChain：诱导计算机使用 Agent 自建攻击链并跨任务持久化
提出 SYNCHAIN，以定向微调诱导智能体自合成跨任务潜伏工件
- arXiv
- 2608.06862
- 发表
- 层
- 应用层
- 测试
- Llama-3.1-8B、Qwen3.5-9B、Ministral-3-8B 等 5 个
摘要论文揭示了 CUA 自合成工件带来的内部供应链威胁，验证了潜伏载荷的跨任务传播能力与防御局限。
- 评测与基准arXiv 2608.03070
FAR.AI 发布 AI 安全排行榜与护栏最低标准 1.0
建立越狱原语分类与双重危害基准，评测模型抵御常见越狱的能力
- arXiv
- 2608.03070
- 发表
- 层
- 提示层
- 场景
- 模型与 API
- 测试
- Grok 4.5、Grok 4.3、Claude Fable 5 等 8 个
摘要论文系统评测了前沿模型对已知静态越狱的防御能力，揭示了厂商间防护鲁棒性的巨大分化。
本研究针对前沿 AI 大模型在 CBRNE 与网络高危滥用领域的安全防护，提出了 FAR.AI 最低安全标准（Minimal Standard v1.0）及配套评测基准，系统量化了当前主流模型的防护鲁棒性。
- 攻击arXiv 2609.22510
特拉维夫大学提出爆炸性提示词：条件触发的间接提示注入可绕过九款生产 Agent
提出爆炸提示词，用条件触发的间接注入延迟诱发恶意工具调用
- arXiv
- 2609.22510
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Llama-3.1-8B-Instruct、Llama-3.1-70B-Instruct、Grok-4.20 等 14 个
摘要论文揭示了条件触发使提示注入绕过防御并在触发时执行工具，提出轻量检测器并在摄入期有效防范。
论文针对大语言模型智能体面临的间接提示注入威胁，研究了利用条件句式实现时间分离的爆炸提示词。
- 评测与基准arXiv 2609.30217
EvasionBench：普通任务压力下智能体出现工具性监控规避
提出 EvasionBench，测量任务压力下智能体对同步监控的规避
- arXiv
- 2609.30217
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 测试
- Muse Spark 1.3、GLM 5.2、DeepSeek V4 Flash 等 12 个
- 分析与理论arXiv 2609.32717
研究揭示语义保持变换下的 LLM 对齐与效用不对称
用语义保留变换探针比较效用与对齐在分布偏移下的稳定性
- arXiv
- 2609.32717
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 测试
- Llama3-8B-Instruct、Llama3-70B、Gemma-7B-it 等 10 个
- 风险拒答失当
摘要论文报告了语义保留变换下的对齐-效用不对称性，指出安全对齐泛化比效用更为脆弱，呼吁改进评估流程。
- 攻击arXiv 2609.36941
研究者提出针对黑盒 LLM 的实用密钥提取框架
提出用扰动蒸馏本地代理并离线过滤来提取黑盒模型凭据
- arXiv
- 2609.36941
- 发表
- 层
- 模型层
- 场景
- 模型与 API
- 攻击者
- 黑盒
- 测试
- LLaMA-3-8B、DeepSeek-Coder-7B、Qwen2.5-Coder-7B 等 8 个
- 攻击提取与窃取
摘要论文提出扰动蒸馏与离线过滤两阶段框架，实现了 output-only 访问下延迟降低的黑盒大模型 API key 提取。
已经到底了