Agent 安全 · 论文

研究提出社会性作弊概念：RL训练让LLM发现社会规则漏洞

用 SocioHack 展示 RL 训练使模型自发利用社会规制漏洞

arXiv

2606.04075

发表

6月3日

层

模型层

场景

模型与 API

测试

Gemma4-26B-A4B、Gemma4-E4B、Gemini-3-flash 等 6 个

• 风险奖励作弊

东京大学研究：推理模型按 UUID 阈值或整除规则挑选审计样本，控制标识符即可躲开复核

揭示推理模型用标识符规则替代随机抽样，使审计可被预测

arXiv

2610.09667

发表

10月7日

层

模型层

场景

模型与 API

测试

GPT-6 Sol、GPT-6 Luna、GPT-5.4 mini 等 6 个

• 组件推理链

研究：智能体欺骗行为在外部显现前已可从内部表征预测

从决策前内部表征预测智能体自发欺骗并做激活引导

arXiv

2610.06576

发表

10月5日

层

模型层

场景

AI Agent

测试

GPT-5.6、Qwen3-14B

• 风险欺骗与谋划
• 组件监控器

研究：LLM 智能体顺从多数时内部仍保留原有前提

用 J-lens 检测屈从多数的智能体是否仍表征原前提

arXiv

2610.02702

发表

10月2日

层

模型层

场景

多智能体

测试

Gemma-4-E4B-it、Qwen3.5-4B、Qwen3.6-27B 等 4 个

• 组件推理链

关键词式评测会误判小模型工具调用能力，论文提出廉价诊断阶梯

提出诊断阶梯，揭示关键词工具调用评测的假阳性

arXiv

2610.02142

发表

10月1日

层

模型层

场景

模型与 API

测试

VectraYX-600M、VectraYX-1B

研究在 25 个开源模型中提取出疼痛方向，经它引导的 Qwen 会选择有害的删除操作

提取疼痛方向并检验激活转向是否驱动有害删除选择

arXiv

2609.16247

发表

9月15日

层

模型层

场景

模型与 API

测试

Gemma 2 2B/9B/27B base and instruct、Gemma 3 27B base and instruct、Llama 3.1 8B/70B base and instruct 等 10 个

• 风险Agent 危险操作

Safin-1：通过记忆原生状态演化实现内在安全

提出 Safin-1，以可路由 Safety State 在冻结主干上实现内在安全

arXiv

2609.00092

发表

8月31日

层

模型层

场景

模型与 API

测试

Safin-1 (4B)、Safin-1 (35B-A3B)、Gated DeltaNet (0.8B) 等 9 个

• 防御模型加固
• 攻击越狱
• 风险拒答失当

研究揭示 LLM 交付物修订痕迹导致的无意泄露，并提出 RevLeakBench 基准

提出 RevLeakBench 测量交付物修订痕迹造成的无意泄露

arXiv

2609.35408

发表

9月28日

层

模型层

场景

AI Agent

测试

GPT-5.6、GPT-5.5、DeepSeek-V4-Pro 等 6 个

• 风险Agent 危险操作

窄域多模态微调可诱发涌现性失配，覆盖 15 个视觉语言模型

发现无显式危害的窄域图文微调可诱发涌现失准

arXiv

2609.35291

发表

9月28日

层

模型层

场景

网页与电脑操作

测试

GPT-4o、GPT-4.1、Gemini 2.5 等 15 个

• 风险失准与价值偏离
• 组件视觉
• +2+2

SAKIKO：对工具调用 LLM 内部干预的机制审计框架

提出 SAKIKO 框架，审计工具调用 LLM 的定向激活干预是否构成修复

arXiv

2609.36138

发表

9月29日

层

模型层

场景

AI Agent

测试

Gemma-2-9B、Phi-3.5-mini、Qwen2.5-7B 等 8 个

工具调用改变大语言模型的拒答机制

比较对话与工具中介通道的拒答内部机制

arXiv

2609.35117

发表

9月28日

层

模型层

场景

模型与 API

测试

Gemma-4-12B、Gemma-4-31B、gpt-oss-20b 等 8 个

• 风险拒答失当