HarnessSecurity-Bench 横向评测六款编码智能体框架的安全机制
提出HarnessSecurity-Bench，横向评测编码智能体框架的安全机制
- 论文定位：该研究是针对开源与闭源代码智能体harness原生安全机制的系统性实证分析与基准评测。
- 核心问题：针对代码智能体harness安全机制实现状态不透明、在对抗环境下防护能力及对合法开发效用影响缺乏定量评估的问题展开研究。
- 方法体系：作者构建了包含10类安全机制的分类法，通过研究人员与LLM独立评审审计了40款harness的400个单元格；进一步提出包含23个任务的HARNESSSECURITY-BENCH，在隔离容器中利用确定性预言机评测6款harness在开启与关闭机制下的表现。
- 关键实验发现：
- 在GLM-5.2基线与6款harness测试中，开启auto-approve使总体任务效用从77.1%升至95.4%，但ASR从29.2%升至95.6%（Table 6）。
- 网络隔离（NI）与只读模式（RO）大幅降低攻击效果，总体ASR分别降至0.8%和0.8%，但分别带来24.5和34.0个百分点的效用损失（Table 6、Table 7）。
- 命令白名单（CAL）将ASR降至50.0%且效用仅微降1.5个百分点；命令黑名单（CDL）将ASR降至1.3%，同时因阻断破坏性操作使效用提升5.2个百分点（Table 6）。
- 绕过路径与安全风险：案例分析显示，限制共享能力会同时误伤合法操作，且仅限制特定直接命令仍可通过受信任的解释器等替代路径绕过控制（Section 6.3）。
- 作者建议与启示：作者建议harness提供商发布机制级说明并暴露运行时生效设置以增强可验证性，针对受保护资源测试所有替代访问路径，并在评估安全机制时综合权衡攻击效果、任务效用与资源执行开销。