Trail of Bits 称 1Password 的 AI 补丁基准具有误导性
1Password's AI patching benchmark is misleading
AI 导读
Trail of Bits 质疑 1Password 的 FLAWED 漏洞补丁评测,认为样本选择、故意引导错误修法以及禁止编译测试等条件影响了头条结论。其复算在另一组实验条件下得到较高的阻断给定 exploit 比例,但明确指出阻断该测试不等于完整修复,两个比例不能直接比较。文章也讨论自动评分局限;Trail of Bits 与 OpenAI 合作开展补丁项目,存在相关利益关系。这里保留反驳方论点,不将其视为对原报告的独立裁定。