跳到正文
原文
Hugging Face Daily Papers· arXiv:2611.06808·本站收录· 原文发表

大语言模型不知道自己知道什么:面向金融回测的时序自我知识基准

LLMs Don't Know What They Know: Benchmarking Temporal Self-Knowledge for Financial Backtesting

AI 导读

研究者提出 FinDendro 基准,用 2,226 条 1999 至 2026 年带日期的美国事实(月度宏观经济序列、月末股价、美联储决策)检验大语言模型对自身知识时间边界的认知,持久性与主导结果对照把随机准确率控制在约 0.27。结果显示多数前沿模型的自我报告低估其知识,GPT-5 答对 76% 的对照事实却只声称知道 38%,对其自称不知道的事实仍答对 61%;知识声称可超出测得的知识边界最多七个季度,而声明历史日期能消除大部分先验知识声称、准确率不变。作者据此指出,模型训练窗口内的金融回测无法靠自我报告、指令或厂商声明的知识截止日期证明无泄漏,FinDendro 提供了按实测事实知识选择回测期间的基准与流程。

阅读原文huggingface.co