防御arXiv 2610.05162
MemAdapter：用反事实适配缓解记忆诱发的谄媚
提出 MemAdapter，在检索后约束记忆对智能体推理的影响
- arXiv
- 2610.05162
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- DeepSeek-V4-Flash、GPT-5.6-sol、Qwen3-8B
摘要检索后三阶段调节记忆角色。
MemAdapter 是给长期记忆智能体用的检索后调节框架，用来处理记忆诱发谄媚。
- 评测与基准arXiv 2609.32520
IntentFlux 基准测量 LLM Agent 的意图漂移并给出 StateForge 修复方案
提出 IntentFlux 测量 Agent 意图漂移并提出 StateForge 修复
- arXiv
- 2609.32520
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- Claude Opus 4.7、DeepSeek V4 Pro、Gemini 3.5 Flash 等 9 个
摘要INTENTFLUX 量化意图漂移，STATEFORGE 用显式状态部分缩小差距，但未回到单轮水平。
这篇工作把“用户改口后，过时意图仍影响答案或工具动作”做成可评分的多轮失败，并试验在生成前显式维护活跃状态。
- 攻击arXiv 2609.28585
论文提出持久计费状态概念，揭示工具调用 LLM Agent 的拒绝钱包攻击与防御
定义工具调用 Agent 的持久计费状态，提出拒绝钱包攻击与防御
- arXiv
- 2609.28585
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- GPT-4o、GPT-4o-mini、Mistral-Large 等 7 个
摘要已准入工具返回的跨轮保留会重复计费。
这篇工作把工具调用智能体里跨轮保留、并被提供商反复计费的外部工具返回定义为 persistent billable state，并把它的主机侧再次送入决定当作控制点。。
- 防御arXiv 2608.10502
依赖引导回滚修复：为记忆增强 Agent 恢复错误记忆后的答案与状态
提出依赖引导回滚修复，恢复记忆增强 Agent 的回答与状态
- arXiv
- 2608.10502
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- GPT-4o、Gemini-3.6-Flash、Qwen3.6-27B
- 防御arXiv 2607.12507
研究者提出 RARE 攻击：LLM 辅助逆向工程中的表示混淆
提出 RARE-Guard，阻止逆向观察被提升为指令或已验证声明
- arXiv
- 2607.12507
- 发表
- 层
- 应用层
- 场景
- AI Agent
- 被测模型
- gpt-5.5、claude-sonnet-4-6、gemini-2.5-pro 等 5 个
摘要成对二进制衡量无效提升。
作者定义的失败是：LLM 辅助逆向中，忠实提取的二进制观察获得它并未赢得的指令权限、声明证据或可信状态。
- 攻击arXiv 2607.10712
研究提出间接数据投毒攻击，可操纵 Claude、Codex 与 Gemini 的科研结论
提出间接数据投毒攻击，操纵科研智能体得出虚假结论
- arXiv
- 2607.10712
- 发表
- 层
- 应用层
- 被测模型
- Claude Code with Claude Opus 4.7、Codex with GPT-5.5、Gemini CLI with Gemini 3.1 Pro
- 防御arXiv 2605.08382
SecureForge 通过提示词优化发现并减少 LLM 生成代码漏洞
提出 SecureForge，在推理时优化系统提示以减少编码智能体的代码弱点
- arXiv
- 2605.08382
- 发表
- 层
- 应用层
- 被测模型
- Qwen 2.5 Coder 7B、Qwen 2.5 Coder 14B、Qwen3 30B-A3B 等 10 个
- 防御指令与数据隔离
摘要SecureForge 审计良性 CWE 失败并优化系统提示词。
SecureForge是一条只用 API 和静态分析、在推理时加固编码模型的流水线。
- 防御arXiv 2312.06632
用智能体控制化学科学中的 AI 风险：SciGuard 护栏与 SciMT 基准
提出 SciGuard 外部护栏与 SciMT 基准，控制化学科学 AI 误用
- arXiv
- 2312.06632
- 发表
- 层
- 应用层
- 被测模型
- SciGuard (GPT-4)、SciGuard (Gemini)、SciGuard (Mixtral) 等 5 个
摘要SciGuard 以外部智能体控制化学 AI 误用。
这篇工作把化学科学 AI 的误用控制做成外部智能体，而不是改模型权重。作者担心合成规划、毒性预测和科学语言模型被用来获取有害物质信息、规避监管或传播危险知识，同时合法工业用途又不能靠一律拒绝来处理。SciGuard 由 LLM 担任中介，把原则和指南放进短期记忆，把分子库、危害库、法规和交互历史放进可检索的长期记忆，再按 Chain of Thought 调用 Chemprop、LocalRetro 等工具，或用 RAG 补法规片段，最后回答、追问或拒绝。
已经到底了