SafeMCP：以环境锚定前瞻推理实现 LLM 智能体防御的主动权力规制
SafeMCP: Proactive Power Regulation for LLM Agent Defense via Environment-Grounded Look-Ahead Reasoning
AI 导读
SafeMCP 是一种面向使用 MCP 的 LLM 智能体的服务端防御插件，通过内部世界模型进行前瞻推理，以主动工具过滤和即时干预两层防御约束危险的权力扩张。其训练采用环境动态锚定、安全策略初始化和带双重可验证奖励的强化学习三阶段流程。在 PowerSeeking Bench、ToolEmu 和 AgentHarm 上的实验显示，SafeMCP 实现安全均衡，在保持智能体效用的同时有效缓解风险。