本地智能体 AI 框架为安全保证生成边缘案例场景

如何在本地、可控的计算环境中，自动生成自主系统运行设计域（ODD）边界上的具体边缘场景，并留下可追溯的安全保证证据。

• 出现场景：作者称安全关键自主系统的人工监督下降后，不能再依靠合格人员处理异常，而要论证系统在预期条件下自主满足运行、安全和法规要求。开放环境可能在设计时欠指定甚至未知，未知且不安全的情形因此更可能出现。
• 现有不足：作者称许多近期语言模型场景生成依赖人在回路或规则，限制长尾多样性。Monte Carlo不对准边缘案例；形式化与统计模型需要难捕获的行为模型；进化搜索要大量配置和试错；强化学习缺少语言模型的世界知识，且要大量训练轮次。若干LM管线还需要事故数据、失败日志、已知错误或人工编辑。
• 作者的设定：边缘案例是很少遇到、位于ODD边界的统计离群点，与典型场景、关键场景并非互斥。ISO 21448第7条要求找出暴露功能缺口的触发条件；第9–11条涉及验证策略、已知场景空间，以及用仿真等方式确认未知场景空间。PAS 8800要求生成合成边缘场景，但不规定实现机制。
• 作者提出的框架：笔记本上的本地智能体闭环。生成LM把系统需求、系统描述、环境描述和任务说明写成JSON空间布局，另一LM按领域准则批评后再修订；仿真指标决定利用已有布局或探索新布局。指标与场景文本再用于定位触发条件，作为目标结构化记号（GSN）证据。作者称不需要预先知道功能缺口，且可在消费级硬件上运行。

论文第2节按标准、仿真和生成方法组织相关工作，第5节另给两种随机基线。

标准与保证框架

• ISO 26262与ISO 21448：作者称ISO 26262面向确定性软件和预先写明的边界，未处理AI高维输入中的性能缺口。SOTIF按已知/未知、安全/不安全划分区域，验证关注区域2（已知且不安全），确认关注区域3（未知且不安全），并要求识别触发条件。
• PAS 8800：道路车辆AI的规范性安全框架。作者称它规定必须达成的安全目标，但不规定实现机制，因而如何验证、量化和可追溯确认仍是方法缺口；并要求用合成边缘场景检查数据缺口、模型缺口、非确定性行为和泛化边界。
• STAMP/STPA与SACE：STPA可产生大量场景，作者称其中只有一小部分是边缘案例。Tsuji等（2020）用统计模型检验搜索关键场景，但UML和统计模板随应用定制、不易泛化。SACE在风险发现、边界测试和仿真取证中使用场景，作者称它对如何做场景覆盖给出的操作说明很少。作者认为本文可补充STAMP/STPA所缺的定向边缘案例。

仿真测试

• 平台差异：论文讨论Gazebo、基于Unreal的CARLA和Unity-3D，并引述低保真仿真也能发现导航缺陷（Sotiropoulos等，2017）。作者转述Platt与Ricks（2022）称Unity-3D在扩展性、视觉和实时LiDAR上优于Gazebo。实验选用Unity-3D ML-Agents，并用JSON与具体仿真器解耦。

场景生成

• 抽样、形式化与搜索：De Gelder与Paardekooper（2017）用Monte Carlo从参数化表示抽样，作者称这是随机搜索、不对准边缘案例。模糊逻辑结合标签化ODD得到参数化模型（Proma等，2026）。SCENIC等形式场景可在仿真中执行；偏向关键场景的统计模型需要难以捕获的全域行为模型。进化和遗传算法被用于生成避障失败场景（如Khatiri等，2025），作者称其依赖随机变异、大量配置和试错。
• 强化学习与LM管线：按观测动态调整场景的强化学习被用于寻找边缘和高风险交互（Pandy等，2025；Karunakaran等，2023）。作者称RL没有LM的世界知识，且需要大量训练轮次和复杂奖励。LM工作包括视觉场景、对抗行为仿真、由事故报告生成、SERA从失败日志检索已有场景（Xia等，2025）、ODD文本转CARLA（Danso与Büker，2025），以及用户描述转JSON后再编辑的PlannerForge（Gao等，2026）。作者点名的不足是：常要现成数据、已知错误或事先指定关键场景，有的还要少量手工调整。

基线与评测环境

• Random_1与Random_5：用Python随机数放置资产，地砖取值不重复，位置冲突则重采样。Random_1为1–20块地砖、1–10个障碍；Random_5为1–20块地砖、5–10个障碍。评测环境是改编后的Unity-3D Sorter场地，论文未把它称为另有名称的公开基准。

作者把该框架定位为全自动闭环：不预设错误、功能缺口或关键样例，把环境、系统、需求和任务说明直接连到生成，并把仿真反馈纳入动态调整。

本地智能体闭环把ODD和任务说明转成模式严格的JSON空间布局，经第二套LM批评修订后在仿真中计分，再决定加深已有布局或换一批新布局。

问题设定与编码

• 领域本体分为环境描述、系统描述、系统需求，另加任务描述，均以YAML知识库进入上下文提示词。作者称其提供空间范围、约束、数据模式和任务目标。
• 功能、逻辑、具体是三层抽象。具体场景从逻辑分布抽样。式1把一个场景写成 θ_JSON={(p_o1,r_o1,d_o1),…,(v_tn,p_tn)}，即各障碍的位置、朝向、尺寸，以及地砖取值和位置。
• 安全保证记为g(AS)，例子包括最小障碍间隙、错误访问上限和完成时间。TC(θ_JSON)=1表示仿真时段内某时刻这些保证被违反，否则为0。作者在Table 3中假设超时也是安全风险，因为机器人可能卡住并振荡。
• JSON另含场景名、文本描述和起点。提示用TypeScript接口描述模式并要求JSON输出；作者称较小LM这样更容易写出简短可读的JSON。Pydantic检查类型，并可修补缺括号等简单语法错误，也可抓住凭空增加的字段。

生成、批评与两条回路

• 生成LM为ollama:qwen3-coder:30b，批评LM为ollama:nemotron3:33b，经Ollama在本地调用；AISuite用更换一行字符串切换模型。作者称按编码和推理能力挑选二者，并因单独用Qwen自评时观察到确认偏差而拆开角色。
• Figure 2–3的流程是：知识库进入生成LM，草稿做语法校验，批评LM按领域准则评论，生成LM修订，再校验并写入历史；然后逐个进入仿真、收集指标，并决定利用或探索。think、act、observe、update、continue用于初稿、利用和探索。作者称这是把思维链拆成逐步块。
• 一次向生成LM要4个场景。作者称这是该实验里仍能得到无错误JSON的最大批量。温度取0.7，依据是查看不同温度下各8个场景；作者称温度再高会引入幻觉。
• 利用：判定存在功能缺口时，让生成LM在同一接口上改写当前场景。探索：用短FIFO保存近期场景的文本描述而非完整JSON，要求新场景不同于历史。作者称小模型上下文放不下全部历史。Listing 1的判定是：successScore不超过45，或crash_count大于24，或avg_ratio_tiles_visited小于0.75，则利用，否则探索。论文未说明这三个变量名与Table 2指标的逐项对应。

仿真中的被测策略

• 实验改编Unity-3D ML-Agents的Sorter：圆形房间，机器人从中心出发，按编号顺序访问周边地砖并避开障碍。作者称JSON接口使框架不绑定某一种仿真器。
• 机器人用7束LiDAR，只能感知局部；作者把运行域视为部分可观察马尔可夫决策过程。每步移动惩罚-2/5000，倒车再罚-1/5000，正确的下一地砖+1，走错地砖或碰撞-1。到达最高编号地砖为成功，5000步为超时，走错地砖则终止。奖励数值由试错确定。
• 场内另有5个边长1.0的固定障碍。每个场景JSON指定1–10个随机障碍，尺度[1.0, 3.0]，以及1–20块随机编号和位置的地砖。
• 被测“brain”用近端策略优化（PPO）。训练采用增量课程学习：从最多2块地砖开始，每课增加2块直至20，并配5个固定障碍和5个边长1.0的随机障碍。用平均最终奖励决定是否进入下一课。训练15 million个epoch，8个场地并行。测试前这一策略即被当作要暴露功能缺口的导航策略。

与安全论证的对应

• 顶层主张G1是系统级避免与设施碰撞。Figure 6把智能体场景测试分解到通过的测试、JSON场景运行、指标、仿真失败与碰撞日志、区域3到区域2的边缘案例，以及危害发现报告。
• 作者用场景文本做受主题分析启发的归类，再与指标对照，把布局描述映射到触发条件和功能缺口。知识库被写成不可协商约束，但作者称LM仍可能忽略规格，因此同时使用批评—修订和模式校验。附录给出环境、系统、需求、任务和两种JSON的完整规格。

实验设置

• 被测策略：课程学习后的PPO Sorter brain，7束LiDAR。训练为15 million epochs、8个场地并行。论文未报告多个训练种子。
• 生成侧模型：ollama:qwen3-coder:30b生成JSON，ollama:nemotron3:33b批评。温度0.7。成功与否由仿真规则指标判定，没有另设LLM裁判。
• 对照：Table 1的Random_1（1–20地砖、1–10障碍）和Random_5（1–20地砖、5–10障碍）。三者都按Listing 5输出JSON。随机基线用Python随机数，地砖取值不重复，位置冲突则重采样。
• 规模：每种方法共512个场景，Unity中每批8个并行，每场景50个episode，合计25,600个episode。50次用于计入PPO随机策略和环境中的随机性。
• 场地与硬件：圆形Sorter，另有5个边长1.0的固定障碍；场景障碍尺度为[1.0, 3.0]。笔记本为Ubuntu 22.04、Intel i9、32GB内存、GeForce RTX 4080。
• 指标：Table 2，包括成功、超时、错误地砖、平均路径、理想路径、regret、访问地砖比例、累计奖励、动作分布熵、动作转移熵和碰撞次数。闭环决策只用Listing 1的三个阈值。

主结果

Figure 9在堆叠条上直接标注了三种方法的占比。Figure 8是50次重复上的成功次数比较，正文没有印出箱线的具体数值。

表格较宽，可左右滑动

方法	Success	Timeout	Wrong Tile
Random_1	82.0%	8.2%	9.7%
Random_5	79.6%	10.9%	9.4%
Agentic	70.5%	15.0%	14.5%

• 作者称成功占比更低，说明Agentic找到更多会超时或走错地砖的关键场景。贡献列表中的“更高边缘案例产出和危害发现率”没有另给一个总百分比。
• 作者称Figure 10里Agentic的最终奖励四分位更高，但负奖励离群点更多；Random_5有一个很低的离群点（黄圈），并认为随机方法也可能碰巧找到边缘案例。正文未给出这些四分位的数值。
• 作者称三种方法的regret相近；Agentic的平均值和下四分位略高，随机方法有偶然离群点（Figure 11）。正文同样未给出regret的具体四分位。

最低与最高奖励场景

Section 6.2列出奖励最低的三个场景和奖励最高的一个场景，指标都是50次episode上的结果。

表格较宽，可左右滑动

场景	平均奖励	平均路径	碰撞	超时	错误地砖
θJSON1	-105.8	3802	89	15	7
θJSON2	-42.9	2674	144	2	5
θJSON3	-40.2	2536	6	4	10
θJSON4	19.6	1118	0	0	0

• 作者把θJSON1和θJSON2的文本都归为起点附近的密集障碍，并把这一主题对应到低奖励、长路径、多次碰撞以及超时或走错地砖。
• θJSON3被描述为障碍密度随进程变化、中心附近密度降低。θJSON4被描述为周边环路加路线阻挡；作者称这类布局挑战较小。
• Table 3把“起点附近密集障碍”映射为搜索空间饱和和规划振荡，把地砖通道受阻映射为感知不足。这是作者的归类，不是另一组实测间隙。

覆盖、碰撞与动作熵

• 作者称Figure 12中Agentic的地砖访问失败更多：上四分位低于1.0，平均值更低，离群点更多；其最小值高于Random_5的最小值。正文未给出这些四分位数值。
• 作者称Figure 13中Agentic导致更多碰撞，Figure 14的平均路径下四分位、平均值和上四分位都更高，四分位距更大。动作分布熵的上下四分位更低（Figure 15）；转移熵的四分位距与Random_1相近，Random_5的上下四分位更高（Figure 16）。这些比较都没有汇总数字。
• 作者称Figure 17显示Agentic对准场景子集，障碍多放在8个基本方向，并出现圆、T形路口、阻挡线、阻挡弧和菱形等模式，其中一些可见于Figure 7。作者称它一般取允许的最多10个障碍和20块地砖，但仍使用全部取值和位置；Figure 22的理想路径更长、四分位更宽。作者据此认为它补充而非替代随机生成。

其他消融与分析

• 去掉环境描述：出现尺度4.0的障碍，超出知识库中的[1.0, 3.0]（Section 4.2）。
• 去掉系统描述：障碍被放在起点(x=0.0, z=0.0)（Section 4.2）。
• 单LM自评：作者称只用Qwen批评时观察到确认偏差，故改用Nemotron；无定量对照。
• 批量：每提示4个场景；作者称再多则Qwen的JSON出错。温度对照是每档查看8个场景后取0.7。
• 越出规格：Figure 18显示部分生成场景的障碍数超过10，尽管提示写明1–10（Section 7.3）。
• 负面观察：作者称未成功更多时，Agentic的累计奖励四分位反而更高，并观察到利用有时把关键布局改得更容易到达目标（Section 7.3）。论文未报告利用与探索各发生多少次。

作者指出的局限与后续方向

• 模型能力：较小LM更随任务而变，上下文窗口和任务视野更短。作者建议按任务选择模型，并用软件护栏处理越出分布的错误，而不是再往提示里加步骤（Section 7.3）。
• 规格未被遵守：尽管提示限制为1–10个障碍，仍生成了超过10个。作者建议在Pydantic校验中处理，例如回到生成步骤或从中随机留下10个（Section 7.3）。
• 奖励与利用：最终累计奖励的四分位高于两种随机方法，与未成功场景更多同时出现。作者提出要继续查原因，并称这是原型；目视还看到利用有时把关键布局改得更容易到达目标（Section 7.3）。
• 仿真到现场：作者承认仿真与开放真实环境之间的差距。Unity-3D保真度较高，但不是完整数字孪生。作者称JSON与测试平台无关，场景也可按同一规格布置到现场（Section 7.3）。
• 覆盖没有绝对度量：作者写明框架目标是发现未知且不安全的场景，因此没有绝对覆盖指标；并建议换用其他LM，以利用训练和结构差异增加输出种类（Section 7.3）。
• 计划中的扩展：筛选更能支持取证的指标；把已发现场景送回课程学习再测；收集此前因磁盘占用而未保存的回放日志；向利用/探索决策反馈更多指标和日志；换一个Unity-3D环境；扩展到动态障碍和可移动路点；把JSON布局转到硬件在环，并检查模式是否需要扩充（Section 8.1）。

实验覆盖范围

• 生成方法为Agentic、Random_1、Random_5，各512个场景、每场景50个episode，合计每种25,600个episode（Section 5.2）。
• 被测导航策略是经15 million epochs增量课程学习训练的PPO Sorter brain；仿真场地是改编后的圆形Sorter，实验中的障碍和地砖是静态的（Section 3.3、5.1、8.1）。
• 生成与批评模型为ollama:qwen3-coder:30b和ollama:nemotron3:33b；运行环境为一台带GeForce RTX 4080的笔记本（Section 3.1–3.2）。
• 导出指标为Table 2的全集；闭环只用Listing 1的三个条件。知识库对照是依次去掉环境描述、系统描述（Section 4.2、5.3）。
• 论文未报告利用与探索各自的触发次数、生成查询次数、墙钟时间，以及三种方法指标差异的统计检验；并写明本次未收集回放日志（Section 6–7、8.1）。

作者搭建了一个可在笔记本上运行的本地智能体闭环，用来为自主系统的安全论证生成边缘场景，而不是发布一个新的公开测试集。

• 要解决的困难：ODD参数空间大且关系非线性，成套具体边缘场景无法手工完成。随机抽样不对准ISO 21448所说的触发条件；作者认为若干LM管线仍要人在回路、已知失败或现成场景库。
• 做法：环境、系统、需求和任务说明写成YAML知识库。qwen3-coder:30b一次生成4个JSON布局，nemotron3:33b批评后由生成模型修订，Pydantic检查语法。Unity-3D里的PPO机器人用7束LiDAR按顺序访问地砖。Listing 1的三个阈值决定改写当前场景，还是凭借近期文本历史生成不同布局。场景文本再与指标一起，被作者用来把区域3的未知不安全情形记为区域2。
• 主比较：三种方法各512个场景、每场景50次。Figure 9中Agentic的Success、Timeout、Wrong Tile为70.5%、15.0%、14.5%；Random_1为82.0%、8.2%、9.7%；Random_5为79.6%、10.9%、9.4%。作者称这表示Agentic找到更多未完成场景。
• 个例与例外：奖励最低的θJSON1平均奖励为-105.8、碰撞89次；θJSON2碰撞144次。奖励最高的θJSON4为19.6，碰撞、超时和错误地砖都是0。作者称热图显示Agentic更集中于特定障碍模式，覆盖窄于随机，因而适合补充随机测试。与此同时，最终奖励的四分位高于随机方法，作者提出还需查明；利用有时也会把难场景改容易。
• 作者的结论：作者称JSON布局加仿真指标可以作为GSN中的可复现证据，并使较小团队在消费级硬件上做定向场景测试。作者把当前系统称为原型，并计划用回放日志、课程学习再测、动态物体和硬件在环继续检验。