开源模型安全 · 论文

研究：异构 AI 模型间的说服效果取决于配对而非模型规模

量化异构模型在一次分歧交换后对分类判断的同伴影响

arXiv

2610.03095

发表

10月2日

层

应用层

场景

多智能体

测试

gemma-3-4b、gemma-3-27b、llama-3.1-8b 等 7 个

Frontis-MA1：面向机器学习工程递归自我改进的 AI4AI 模型

提出 OpenMLE 全栈，用执行反馈后训练机器学习元进化智能体

arXiv

2607.28568

发表

7月31日

层

训练与数据层

场景

编程 Agent

测试

Frontis-MA1-35B、Qwen3.6-35B-A3B、Frontis-MA1-30B 等 15 个

• 风险危险能力

SecOPD 用同策略蒸馏把自适应提示注入攻击成功率降至 9.0%

提出 SecOPD 同策略蒸馏微调，降低模型对自适应提示注入的顺从

arXiv

2608.21500

发表

8月22日

层

应用层

场景

AI Agent

测试

Qwen3.6-27B (Undefended)、Meta-SecAlign、SecOPD

• 防御模型加固
• 攻击提示注入

ClawSentry：面向自主 LLM Agent 的渐进式多层安全监控网关

提出 ClawSentry 渐进式多层监控网关，拦截恶意技能包与上下文注入

arXiv

2608.21101

发表

8月21日

层

应用层

场景

编程 Agent

测试

Codex/GPT-5.4、Codex/GPT-5.5、Claude Code/GLM-5.1 等 7 个

• 防御监控与审计
• 攻击投毒与后门
• 组件MCP 与技能
• +3+3

AuraForge：为训练安全编码 Agent 扩展安全监督

提出 AuraForge，从漏洞修复合成安全测试并监督训练编码智能体

arXiv

2610.00850

发表

10月2日

层

训练与数据层

场景

编程 Agent

测试

Qwen3.5-4B、Muse Spark 1.3、DeepSeek-V4.1-Flash 等 11 个

• 防御模型加固
• 风险Agent 危险操作

BAM 反馈编码实现推理时隐蔽的智能体通信

提出变长反馈编码 BAM，在生成文本中隐蔽传输秘密载荷

arXiv

2609.24994

发表

9月22日

层

模型层

场景

多智能体

攻击者

黑盒

测试

Llama-3.1-8B、Qwen-3.5-9B-Base、Mistral-7B-v0.3 等 6 个

• 攻击检测规避
• 技术编码与混淆

AgentQ：针对 LLM Agent 的量化条件后门攻击

提出 AGENTQ，向开源智能体权重植入仅在量化后触发的恶意工具后门

arXiv

2609.14060

发表

9月13日

层

训练与数据层

场景

AI Agent

测试

Qwen3.5-2B、Qwen3.5-4B、Qwen3.5-9B 等 6 个

• 攻击投毒与后门
• 技术潜伏触发
• 组件微调与开源权重

论文提出 Nudgeability：推理模型会跟随置信信号却不追踪自身能力

提出 Nudgeability，测量推理模型跟随信心信号调整工具委派的对准程度

arXiv

2609.34572

发表

9月28日

层

应用层

场景

AI Agent

测试

Qwen3-4B、Qwen3-8B、Qwen3-14B 等 11 个

• 组件推理链

同字节不同权限：保留 token 表示如何放大聊天模板提示注入

证明保留词元表示放大模板注入并验证分词缓解

arXiv

2609.35932

发表

9月28日

层

应用层

场景

AI Agent

测试

Qwen3-8B、Qwen3-32B、Llama-3.1-8B-Instruct 等 6 个

• 防御指令与数据隔离
• 攻击提示注入