常规操作何时会破坏 LLM Agent Harness 中的架构模式关系
When Routine Operations Break Architectural Pattern Relationships in LLM Agent Harnesses
AI 导读
研究者提出 PatternOps 评估方法，发现重新应用插件或保存允许规则等常规操作无需改动代码，即可静默破坏 LLM Agent Harness 中的护栏等架构模式关系。此类操作使策略停止评估编辑，而所有插件仍保持激活，一条被禁止的编辑得以执行。研究覆盖五个已发布 harness 中与护栏执行点、自治控制器和黑板模式相关的五种关系，主样本为十四个独立编写的插件。保持所需顺序或保留、重建所需状态的分配方案在其测试路径和操作序列上成立，其他方案虽能阻止被禁止的效果，却会漏掉在别处被拒绝的编辑。论文指出，在这些 harness 中，模式关系是运行系统及其历史的属性，架构设计者应结合部署实际使用的决策路径、状态生命周期和操作序列加以评估。