Translation in progress Some entries still include text in the original language.
Anthropic Research·Indexed by this site · Originally publishedSelectedAttention64
Anthropic 红队发布评估:AI 模型的情报定位与常规武器开发能力
Measuring tactical intelligence targeting and conventional weapons capabilities of AI models
AI summary
Anthropic 前沿红队评估模型在战术情报定位与常规武器相关任务中的能力,涉及账号关联、人员分类、照片和文字地理定位,以及无人机引导控制仿真。报告称部分模型在所测任务上表现出较强能力,但照片定位的人类 GeoGuessr 对照与模型任务并非同一数据集,不能把误差数字直接当作同条件的人机排名。文本定位结果也部分依赖用户主动透露的地点。武器相关结果来自模拟任务,不等于已验证的现实攻击能力。
Why it was selected
Anthropic 红队用仿真任务量化模型在情报定位与常规武器开发上的能力,并给出前沿与开源模型的差距。
Read originalanthropic.com