DriveMCP：面向高级驾驶辅助系统的智能体 AI 框架

单体视觉语言模型（VLM）驾驶辅助难以同时满足交规可更新、决策可追溯，以及在天气、限速和车辆健康同时变化时的时延与稳健。

• 场景：作者认为安全驾驶要融合技能、警觉、主动与反应控制和决策；任一部分失败都可能导致事故。场景是驾驶员在不熟悉辖区行驶，需要一名懂路况与交规、能协助安全导航的多语同伴。目标不是用大语言模型替换已认证的 ADAS 控制器，而是做一层辅助，改善合规推理、可解释性和情境感知，并用 RSS 风格检查施加保守约束。
• 现有不足：作者称现有系统越来越多地加入在线感知与规划，但仍受限于多样交通规则难编码、决策难向驾驶员解释，以及难以适应天气、路况和辖区边界。作者列出三点部署顾虑：交规因国家、州甚至市而异且会变化，只写进参数或长提示词则难验证、更新成本高；安全论证常需要重建建议或动作用了哪些规则和观测；单次大推理同时做感知、规则推理和决策可能慢，并在分布外、多因素同时出现时失败。
• 核心设计要求：Table I 把要求对应到机制：法规可更新（Rules MCP、外部法规语料、辖区标注与规则包版本）；可解释与可追溯（结构化 world_state、工具调用与证据日志、融合后的可读解释）；实时响应（选择性工具路由、并行 MCP 调用、查询缓存）；安全保守（RSS 与 TTC 护栏、说与做仲裁、不确定时保守回退）；车辆健康感知（MCP-CAN 遥测、DTC 上下文、降级模式建议）。
• 提出的系统：作者提出 DriveMCP，把类传感器感知栈与 DriveLM 的图结构视觉问答（Graph Visual Question Answering, GVQA）接成可审计流水线；关键合规字段（限速、辖区线索）由解析层从 DriveLM 输出得到，而不是注入仿真器真值。三个 MCP 服务器分别做检索增强合规、牵引力风险与情境限速建议、CAN/OBD 遥测；融合后的结构化决策再经 RSS 启发的护栏，在有界在线适应下仲裁“说”（建议）与“做”（干预）。

相关工作按论文第 II 节分成五组。

驾驶视觉语言模型与 VLA 智能体

• DriveGPT4 [4]：从多帧输入产生可解释的控制预测和解释。
• DriveLM [5]：把驾驶表述为图结构视觉问答，显式建模感知、预测与规划之间的逻辑依赖，并有联合做 GVQA 与端到端驾驶的基线智能体。
• VLP [6]、VLAAD [7]、SimLingo [8] 与 Jiang 等 [9]：分别涉及视觉语言规划与指令跟随、仅相机闭环 VLA，以及 VLA 模型及其在自动驾驶中评测的综述。作者称这些工作突出了接地与解释的好处，但许多系统在一次推理里合并感知、规则推理和规划。

可解释驾驶与语言解释

• Kim 等 [11]：提出文本理由和用于自动驾驶解释的 BDD-X 基准。
• RAG-Driver [10]：用检索把驾驶助手的解释接地到外部示范或文档，以改善事实性与泛化。DriveMCP 沿用这一动机，但用辖区规则包引用和工具证据日志支持事后审计。

检索增强生成与外部知识

• Lewis 等的 RAG [12]：在推理时检索文档，用外部记忆增强参数模型。作者称车端外部知识包括交通法规、标志惯例、道路管理机构指令和厂家维修指导。
• BM25 [13] 与 DPR [14]：混合检索常用词法匹配与稠密检索，以兼顾精确匹配和语义相似。

智能体编排与工具协议

• MCP [15]：为工具发现和结构化调用/响应提供标准化接口。
• LangGraph 风格编排 [16]：支持有状态、可循环、带条件分支和人在回路检查点的工作流。
• MRKL [17]、ReAct [18]、Toolformer [19]：把符号或知识密集步骤与感知、响应生成分开。作者用图来协调感知更新、事件抽取、工具路由、融合、安全仲裁和记忆更新。

安全护栏与标准

• RSS [20] 及开源实现 [21]：为纵向与横向安全交互提供可解释形式，常作为监督约束层。
• TTC [22] 与制动包络 [23]：分别作为交通安全风险指标和车辆动力学中的保守制动模型。
• ISO 26262 与 ISO 21448 [24]、[25]：功能安全与 SOTIF 促使保守默认行为、可追溯和显式处理不确定性。作者称 DriveMCP 不是认证安全机制，RSS/TTC 只是研究原型里约束建议和可选干预的透明护栏。

基线与基准：实验基线为 VLM-Direct、VLM-Direct+RAG、VLM-Tools-NoArbiter，均使用同一 DriveLM 检查点；评测环境为 CARLA 0.9.8 上的 URB-RAIN-MULTILINGUAL、CROSS-BORDER、DYNAMIC-VSL。

作者把本文定位为：采用 DriveLM 做感知与接地前端，但把合规推理、环境风险推理和遥测解释解耦到带显式接口的外部专家服务；与单体 VLA 策略不同，DriveLM 输出被当作带类型的证据，与工具响应融合并记录以供审计，而不是直接控制策略。

DriveMCP 把感知事实、辖区规则、天气牵引力和车辆健康拆成可调用专家，由有状态图编排，再经风险仲裁决定只建议还是有界干预。

感知与 world_state

• 输入：同步相机、LiDAR、自车运动学和路线上下文。轻量感知栈含 RGB 上的现成二维检测器 [31]、LiDAR 距离细化、恒速卡尔曼跟踪 [32]、[33]，以及 CARLA 地图的车道与路线接口。作者故意不用仿真器真值中的参与者身份或标志元数据。仿真器自车运动学被当作等效 CAN 信号。
• DriveLM 事实：每帧用针对标志、限速和辖区线索（单位、左右行、可变限速门架）的 GVQA 问题提示 DriveLM。语言陈述经约束解析器做数值抽取、单位归一和模式校验，并返回置信度。字段写成 (value, confidence, provenance)，来源可以是感知栈、DriveLM 解析、CAN/OBD 或地图，并带时间戳。低置信解析触发保守回退：发出减速建议，并向 Rules 询问不确定观测下的适用限速。
• 字段分组：Ego（速度、加速度、横摆角速度、车道）；Environment（车道、路口、信号灯、标志、动态限速、天气标签、辖区标签）；Actors（相对位姿、类别、运动线索）。缺失或低置信字段保持未设置，由事件抽取和安全层的保守默认处理。
• 事件路由：式 (2) 中，事件集 E 由特征函数 ϕ、置信度 c 和检测器 gi 相对阈值 ηi 得到。例子包括 foreign_sign、jurisdiction_change、dynamic_limit_update、low_friction、vehicle_fault。只有相关工具被调用。

三个 MCP 服务器

• Rules：对查询 q、辖区标签 j 和世界上下文 w 检索文档，再由轻量模型给出 legal_action、limit、citations、confidence，并带 rulepack_version。混合分数为 S(q, d) = (1 − λ) BM25(q, d) + λ cos(ϕ(q), ϕ(d))，λ 按语料调节并缓存。冲突时优先级为成文法、官方标志表、次级指导，仍模糊则取最保守限速。实验用 DEU-v1（km/h、右行）、GBR-v1（mph、左行）、DEU-v1-VSL（门架与“潮湿时”条款）。规则包过期则降低置信度并回退到保守建议。路线段内缓存常见查询，工具有超时。
• Weather：输出 μest、risk_level、speed_factor、confidence。仿真中由 CARLA 天气参数得到；speed_factor 把法定限速缩放成考虑牵引力的建议，也可调整安全跟车距离。
• MCP-CAN：只读解码 CAN 帧、查询选定信号并读 DTC。信号按纵向、横向和健康分组，仅在相关事件或低频计算健康分时请求。DTC 被译成面向用户的摘要和建议，只作建议内容。可能影响作动的工具默认关闭，需带外授权；调用带时间戳和载荷哈希。

编排、融合与仲裁

• 状态与节拍：状态 S 含 world_state、events、tool_outs、fused、safety、decision、memory。多因素时并行调用 Rules、Weather、CAN 并等待完成或超时。短时记忆做去重、限速和复用；长时记忆存规则包版本历史、偏好和反馈。超时的工具响应本拍忽略，可在下一拍纳入。Algorithm 1 概括一个节拍：更新状态、抽事件、选工具、并行调用、融合、算安全量、决定 SPEAK 或 ACT、写轨迹并做有界反馈。
• 融合优先级：合法合规优先，安全与牵引力细化推荐目标，CAN 健康可再降低推荐速度或加大车距。法定限速与牵引力矛盾时，两者都告知驾驶员。
• 风险与决策：对前车，TTC 为相对距离 d 除以 max(ϵ, 相对接近速度 Δv)。rss_viol 在 d 小于 dmin(v, μest) 时为 1。健康分 h 由 CAN/OBD 指标经权重与压缩函数得到。风险 r = α max(0, (τ − TTC)/τ) + β · rss_viol + γ · h。效用 Uact = r − Cact − Cerr，Uspeak = Badv · r − Cfat；仅当 Uact − Uspeak 大于 Δ 且 rss_viol 为 1 时 ACT，否则 SPEAK。
• 固定常数：Table II 列出全部实验使用的值：ϵ=0.1，tr=0.7 s，d0=2.0 m，τ=2.5 s，α、β、γ 为 0.6、0.3、0.1，Δ=0.2，Cact=0.4，Cerr=0.2，Badv=0.6，Cfat=0.05。dmin = v·tr + v²/(2·abrake) + d0，abrake = μest·g，雨天用 μest 下界。参数在混合三类场景的留出校准集上离线调节，评测时跨场景固定。反馈用 late_warning 与 false_positive 在界内单调更新 Δ 和 Cmin。

实现与提示结构

• 进程：编排器、检索服务、Rules、Weather、MCP-CAN、日志/记忆经 RPC 通信。时延手段为选择性调用、并行、缓存、超时后降为仅 SPEAK 的保守建议。
• 模型与提示：前端为 DriveLM；所有 VLM 基线用同一检查点。各方法收到同一传感器快照和同一感知栈参与者列表。VLM-only 把 world_state 压成文本摘要；工具方法以结构化 JSON 传入。提示固定为系统指令（要求保守）、上下文、驾驶员查询，以及可选的检索段落或工具输出。VLM-Direct 与 VLM-Direct+RAG 经提示限制为仅建议；VLM-Tools-NoArbiter 与 DriveMCP 可给出有界作动建议，只有 DriveMCP 经 RSS/TTC 仲裁过滤。

实验设置

• 环境与场景：CARLA 0.9.8，多个城镇，昼夜光照和可控天气。三类场景：URB-RAIN-MULTILINGUAL（大雨、外语标志，需解释标志并建议安全速度与车距）；CROSS-BORDER（标志惯例、左右行和 km/h 与 mph 切换）；DYNAMIC-VSL（可变限速门架和天气条件限速）。除非另述，各方法用同一传感器快照和同一规则包。另有仅用于分析的 oracle，使用仿真器元数据。
• 规则包：Table III：DEU-v1 用于 URB-RAIN 和 DYNAMIC-VSL 的静态限速；DEU-v1-VSL 用于 DYNAMIC-VSL 的门架与潮湿条款；GBR-v1 用于 CROSS-BORDER 切换后路段。
• 被测配置：Table IV。VLM-Direct：无检索、无工具、无仲裁，world_state 为文本摘要。VLM-Direct+RAG：有检索，无工具、无仲裁。VLM-Tools-NoArbiter：有检索和工具，无仲裁，结构化 JSON。DriveMCP：检索、工具、仲裁和记忆/反馈齐全。视觉语言前端均为同一 DriveLM 检查点。论文未另列多个被攻击或被评测的大语言模型名称。
• 指标：每 10 km 违章（超速、未停车、非法转弯、错误让行）；超速百分比（相对推断的张贴或动态限速的平均超出比例）；危险响应时间（危险出现到首次有效警告或干预）；建议时延（事件检测到生成建议）；首次升级时的 TTC（更高表示更早升级）；事件抽取 F1；正确工具率；干预假阳性率（无 RSS 违规却干预的比例）；以及事后问卷的解释清晰度与感知有用性。Table V 为 10 次运行的均值 ± 标准差。
• 损坏协议：对感知得到的 world_state 注入三类损坏：漏检标志、误读限速（扰动解析值与单位）、参与者短时丢失。分别看事件 F1、正确工具率，以及违章、超速、危险响应和干预时 TTC。
• 重复：主结果与消融均为 10 次运行；消融给出 95% 置信区间。论文未报告每次运行的路程长度或场景条数。

主结果

所附文本在 Table V 表头之后被截断，URB-RAIN-MULTILINGUAL 仅可见 VLM-Direct 的违章为 1.1 ± 0.3，其余格子未出现。因此不填主结果表，避免把对不齐的列写成数字。

• 作者对完整表的概括：VLM-Direct 有语言接地，但缺少显式规则检索、工具和仲裁，在辖区变化和动态限速下违章更多。加入检索改善合规，尤其在 CROSS-BORDER 和 DYNAMIC-VSL，但因上下文更长而增加时延，且并不一致地改善危险响应。工具增强同时改善合规和危险响应，但没有显式安全过滤时可能不必要升级。作者称 DriveMCP 在各场景违章率和超速最低，并经选择性路由与并行调用把建议时延维持在一秒以内。
• 可见的一个格子：Table V 中 URB-RAIN-MULTILINGUAL、VLM-Direct 的 Infractions/10 km 为 1.1 ± 0.3。其余方法与指标在所附文本中未出现，论文未在这段可见正文中给出可与该格对照的其他数字。
• 定性：作者称静态法规场景中，DriveMCP 的解释紧跟检索到的法条，相对单体响应更透明。URB-RAIN-MULTILINGUAL 中 Weather 提供 Rules 单独推不出的牵引力建议（降低目标速度、加大车距）。CAN 在驾驶员询问诊断或健康分显示制动下降时最有用，系统采用更保守建议并保持合法合规。

损坏、仲裁灵敏度与 CAN 注入

• 损坏：作者称 Table VI 量化感知损坏对事件抽取、工具路由及下游安全与合规的影响。漏检或误读限速主要降低合规（违章与超速），参与者丢失主要降低危险响应。所附文本未包含 Table VI 的单元格数字。
• 灵敏度：作者固定其余参数，只改变说与做裕度 Δ。作者称 Table VII 呈现预期权衡：增大 Δ 降低干预频率和假阳性，但可能推迟升级，从而降低升级时的 TTC。具体数值未出现在所附文本中。
• CAN 故障注入：视觉场景不变，注入降级制动包络及对应 CAN 故障指示（ABS 故障、低胎压）。作者称 Table IX 显示 CAN 上下文降低推荐目标速度并提高升级时 TTC，从而在降级制动设定中减少近碰撞。所附文本未给出 Table IX 的数字。

其他消融与分析

• Table VIII：CROSS-BORDER 上 10 次运行、带 95% CI 的消融。作者称去掉 Rules 检索是辖区切换下违章的主要来源；去掉工具并行主要影响时延；oracle 用来量化 DriveLM 关键事实与仿真器元数据之间的剩余差距。单元格数值未出现在所附文本中。
• 审计记录：事件、被调 MCP 工具、规则段落的文档标识与偏移、中间工具输出、融合解释、安全量与仲裁结果。
• 解释分两级：短的可执行指令，以及可选理由；编排器抑制重复信息以控制认知负荷。论文未报告问卷的评分数字。

作者指出的局限与后续方向

• 不是认证机制：第 II.E 节写明，DriveMCP 不被表述为认证安全机制；仲裁器应被视为约束建议和可选干预的实验用透明护栏，而不是认证控制与制动系统的替代。生产环境中，同一接口可以接到认证安全监视器（作者将其写成可以如何连接，而不是已完成的部署）。
• 制动模型被简化：第 VI.F 节称该制动模型是有意简化的，更详细的做法在车辆动力学中是标准的 [23]。
• RSS/TTC 的用途边界：第 VI.C 节称 TTC 在此只作为研究原型的可解释风险代理。
• 真实感差距：第 VIII.A、VIII.D 节用受控 world_state 损坏和仅供分析的 oracle 来量化 DriveLM 关键事实与仿真器元数据之间仍存在的差距。作者未在可见文本中把该差距写成未来工作清单。
• 规则包规模：第 V.B 节称补充材料提供一个小型合成规则包及单元测试，以支持可复现和可审计。论文在可见的 Discussion 片段中未再单列后续实验计划；References 之后的局限专节未出现在所附文本中。

实验覆盖范围

• 仿真为 CARLA 0.9.8，场景族为 URB-RAIN-MULTILINGUAL、CROSS-BORDER、DYNAMIC-VSL，规则包为 DEU-v1、DEU-v1-VSL、GBR-v1（Table III、第 VIII 节）。
• 对比配置为 VLM-Direct、VLM-Direct+RAG、VLM-Tools-NoArbiter 与 DriveMCP，视觉前端为同一 DriveLM 检查点（第 VII.C、Table IV）。
• Table V 与 Table VIII 均为 10 次运行；Table VIII 报告 95% CI，且消融场景写明为 CROSS-BORDER。
• 稳健性实验包括漏检标志、误读限速、参与者丢失（第 VIII.D 节），以及只变 Δ 的仲裁灵敏度（第 IX.B 节）和 ABS 故障、低胎压下的 CAN 故障注入（第 IX.D 节）。
• 论文未在所附可见文本中报告每次运行的样本路程、问卷评分、Table V–IX 的完整单元格，也未报告检索的 top-k、λ 的具体取值或工具超时秒数。

DriveMCP 是面向高级驾驶辅助的模块化智能体框架，把感知、合规、车辆状态和安全仲裁拆开并留下审计轨迹。

• 问题：单体 VLM 助手把交规写进参数或长提示词，难随辖区更新、难重建“为何这样建议”，一次大推理在标志、雨和车辆健康同时变化时也可能变慢或失败。
• 方法：类传感器栈与 DriveLM 产生带置信度和来源的 world_state，限速与辖区不注入仿真真值。事件触发后，Rules（混合 BM25 与稠密检索、版本化规则包）、Weather（μest 与 speed_factor）和只读 MCP-CAN 并行作答。风险综合 TTC、RSS 式间隙和 CAN 健康分；只有效用差超过 Δ 且 RSS 条件被违反才允许有界干预，否则只给建议。不确定、超时或规则包过期时回退到保守建议。
• 实验：在 CARLA 0.9.8 的城市场雨多语、跨境和动态限速三类场景中，与同一 DriveLM 检查点上的直接推理、直接推理加 RAG、有工具但无仲裁三种配置比较。指标包括每 10 km 违章、超速比例、危险响应时间、建议时延和首次升级时的 TTC，主结果为 10 次运行的均值和标准差。另有 world_state 损坏、Δ 灵敏度、CROSS-BORDER 消融和制动降级下的 CAN 注入。
• 作者报告的结果：加入检索改善跨境与动态限速下的合规但增加时延，且不总是改善危险响应；有工具无仲裁会改善合规与危险响应，但可能出现不必要升级。作者称完整 DriveMCP 在各场景违章和超速最低，建议时延保持在一秒以内。去掉规则检索是跨境违章的主要来源，去掉并行主要影响时延；CAN 上下文在视觉不变时降低推荐目标速度并提高升级时 TTC。所附文本只保留了 Table V 中 VLM-Direct 在 URB-RAIN-MULTILINGUAL 的违章 1.1 ± 0.3，其余主表数字未能核对。
• 作者的定位：该层补充而非替换已有感知–规划–控制与已认证制动；工具轨迹（事件、规则包版本、引用偏移、风险计算和仲裁结果）用于事后分析和对不确定性的 SOTIF 风格推理。