Kierston 与 KierstonBench：模拟宾州阿伦敦并评估语言模型在犯罪侦查与监控任务中的表现
Kierston & KierstonBench: Simulation of Allentown, PA and Evaluation of Language Models in Crime Investigation and Surveillance Tasks
AI 导读
研究者发布城市级模拟引擎 Kierston 与配套基准 KierstonBench，在已知模拟事件下评估大语言模型在犯罪侦查与大规模监控任务中的能力。Kierston 模拟宾夕法尼亚州阿伦敦约 125,000 名居民的日常活动，生成电信、金融、行政和车牌记录，这些记录源自同一行为时间线并分布在模拟不同提供商的数据源中；模型通过受限的记录接口开展侦查，无法接触底层模拟。基准包含 32 个任务族，覆盖记录关联、日常规律重建、事件侦查和甄别欺骗性账户。对 16 个模型的评测显示，多数模型无法完成记录侦查，提交了记录不支持的指认；少数前沿模型完成了大部分任务并在证据不足时弃答，但仍会被常见欺骗与假设误导，且没有一个模型能取代人类侦查员。