研究用 LLM 分析 9821 份英国年报,量化企业 AI 风险披露
AI Risk Observatory: AI risk disclosure in UK annual reports
两阶段LLM流水线读9821份英国年报:2025年41.2%提及AI风险,被归为实质性的仅4.3%。
- 社会韧性需要在故障前知道AI依赖与风险在经济中、尤其在英国关键国家基础设施何处累积。年报依法强制、结构稳定,但是否能经LLM规模化处理,给出企业如何披露应对AI的有用信号,尚不清楚。
- 对英国注册、在主板、AIM与Aquis上市的企业年报做关键词门控,再用Gemini 3 Flash做两阶段分类:标出采纳、风险、供应商和伤害,并把风险映到十类、归因强度与实质性。对照474段人工标注校验。
- 2020到2025,提及AI风险的报告占比从2.8%升至41.2%,采纳披露从13.8%升至45.2%。2025年实质性AI风险披露占全部报告4.3%。主板AI风险提及率57.8%,AIM为6.4%。9821份中仅7份含伤害标签。
- 作者认为披露不等于暴露或治理;关键词门会漏掉隐晦说法,实质性只是近似。校验来自2023–2024年大盘主板、一名标注者,且只测过英国申报。2026年数据截至4月共339份。连到风险管理准备度需要其他数据。
- Benchmarks
- UK-incorporated listed company annual reports (LSE Main Market, AIM, Aquis; 2020–2025, partial 2026)474 human-annotated validation passages
- Metrics
- share of reportssubstantive shareprecisionrecallJaccard similarity
论文用LLM辅助分类分析1362家英国上市公司的9821份年报,主要覆盖2020至2025年,并以474段人工标注文本验证。2025年41.2%的年报提及AI风险,但实质性讨论约占4.3%;披露程度在行业与市场板块之间存在差异,标签一致性仍有限。全语料只有7份报告披露实际危害,这反映公开报告中的披露情况,不能解释为实际只发生7起危害或企业整体风险很低。
Paper analysis
What problem does this paper attempt to solve?
问题是年报能否在规模上提供企业如何披露应对AI的有用信号。
年报经 LLM 规模化处理后,能否成为企业如何披露其应对 AI 的有用信号。
- 场景:作者认为,对先进 AI 的社会韧性取决于在故障出现前知道依赖与风险在经济中、尤其是关键国家基础设施(Critical National Infrastructure, CNI)何处累积。调查昂贵且有应答偏差,事件库是事后记录,监管申报因辖区与行业而异。
- 为何看年报:年报依法强制、董事会负责,与经审计财务报表一并发布;审计师还须确认战略报告与账目一致。《公司法 2006》要求战略报告描述主要风险与不确定性;金融报告委员会(FRC)的非强制指引要求这些内容针对实体,而不是泛泛表述。
- 作者设问:LLM 能否在规模上可靠抽出结构化 AI 信号;把方法用到 2020–2025 年作者所称近乎全量的英国注册上市企业(含部分 2026)会看到什么模式;披露是实质性、具体的,还是多为套话。
- 本文提出:一套可复现的两阶段分类流水线,用于 1,362 家公司的 9,821 份年报;先对照人工标注看可行性,再按 CNI 行业与市场板块描述趋势,并用实质性分级评估信号质量。
What related research exists?
相关工作来自财务披露NLP、套话研究、AI披露治理和观测站式监测。
论文按四组讨论相关工作。实验没有把其他分类器当作基线,校验对照的是人工标签。
财务披露 NLP
- Loughran 与 McDonald(2011):把年报当作 NLP 语料,并记录通用词典会误判金融用语。
- Loughran 与 McDonald(2016):综述金融文本常用的词典分类、可读性与文档相似度。作者称这些通行做法影响了流水线设计。
- Lang 与 Stice-Lawrence(2015);Park(2025):前者对包括英国在内的 42 国非美国年报做大样本文本分析。后者用 LLM 与 LLM 智能体,从财务报表的文字风险披露中量化重大实体风险。
实质性与套话
- Dyer 等(2017):美国 10-K 变长且更冗余。作者据此提出 AI 披露是否同样如此。
- Brown 与 Tucker(2011):用管理层讨论与分析(MD&A)的逐年文本变化,代理公司披露了多少新信息。
AI 披露与治理
- Uberti-Bona Marin 等(2026):分析超过 30,000 份美国申报,记录 AI 风险提及增长很快,同时缓解细节持续泛泛。作者称这是最可比的研究,方向与英国结果一致。
- Bonsón 等(2023):西欧公司报告中的算法决策披露大体自愿且不均匀。
- Chiu(2025):提出生成式 AI 本身可能被用于撰写叙事披露,从而改变被分析文本的作者身份与可靠性。
观测站式监测
- ClimateBERT(Webersinke 等,2022):领域适配语言模型使公司披露文本的主题分类变得可行。
- Ferjančič 等(2024):对可持续发展报告做文本分析,把披露主题与公司 ESG 结果联系起来。作者称自己把同一逻辑纵向用到 AI 相关披露。
作者把首要贡献定位为方法:LLM 抽取可行、可复现,并产生与广泛报道的 AI 采纳进展方向一致的趋势信号。次要贡献上,作者称本文提供了英国上市企业 AI 披露按 CNI 分解的首次大规模视图,覆盖主板、AIM 与 Aquis。
How does the paper address this problem?
关键词门控后,用Gemini 3 Flash做两阶段分类,并按实质性给报告定档。
先用固定关键词门控缩小范围,再用 两阶段分类流水线(分类模型为 Gemini 3 Flash)给 AI 提及打类型、风险类、供应商和实质性(substantiveness)标签。附录 F 概述提示词设计,附录 G 给出全文。
语料与预处理
- 范围:英国注册、在伦敦证交所主板与 AIM 以及 Aquis 上市的实体。剔除 191 家非英国注册公司后,全集 1,469 家;1,362 家至少有一份可处理年报,共 9,821 份(2020–2025 年 9,482 份,另有 339 份部分 2026)。分析单位是申报文件而不是公司-年,同一出版年可有多份文件,因此“报告占比”按文件加权。
- 来源:第三方供应 markdown 与元数据。作者称该来源对 FTSE 350 覆盖约 95%,对 AIM 约 28%。缺失的公司-年回退到 Companies House 的 PDF,再用 Mistral OCR 批量接口转成 markdown。107 家没有任何可用年报,作者称通常是较小的 AIM 或 Aquis 发行方。
- 门控:段落须含核心 AI 术语、具名 AI 产品或供应商、或 AI 应用术语之一。单独的 data analytics、digital transformation、automation 不触发。通过后连同前后各两段上下文抽出,得到 24,189 条 AI 提及。缩写可能撞上非 AI 用法,由第一阶段的显式性规则剔除。
- CNI 映射:用一组 LLM 自动评分器映射行业。1,362 家中 970 家有主要 CNI 行业,392 家归入 other。论文未给出该评分器的模型名。
第一阶段:提及类型
- 标签:ADOPTION、RISK、VENDOR、HARM、GENERAL/AMBIGUOUS、NONE。除两类外可并存:NONE 排除其他标签;GENERAL/AMBIGUOUS 只在没有其他标签时使用。一份报告可以同时含不同段落。
- 保守规则:采纳要求第一人称、公司自身、当前部署;未来意图或战略不算,正在进行的试点可以。为客户交付 AI 系统算采纳,纯咨询而不部署不算。风险要求不利或暴露被归于 AI,而不是仅仅出现在 AI 附近。伤害要求过去或正在发生的、具体的、由 AI 造成的事件。供应商要求点名第三方 AI 提供方或平台。
- 保留规则:摘录若未明确提到 AI/ML/LLM/生成式 AI 或明确的 AI 技术,标 NONE。每个标签有 0–1 置信度,保留置信度不低于 0.2 的标签。作者称保守性来自标注细则和关键词门,而不是更严的置信度截止。
第二阶段:细分、归因与实质性
- 采纳类型:NON-LLM、LLM、AGENTIC,信号 0–3,非互斥。流水线会打分,但本文不分析;作者称 agentic 等稀有类型的精确率尚未校验。
- 风险:十类,可多选,定义见附录 H:Strategic/Competitive、Cybersecurity、Operational/Technical、Regulatory/Compliance、Reputational/Ethical、Third-Party/Supply Chain、Information Integrity、Workforce Impacts、Environmental Impact、National Security。归因信号 3 为同一陈述中的明确因果,2 为清楚但需推断,1 为间接或弱。信号为 3 时作者称为 explicit。
- 供应商:预定义名单(含 Microsoft、Google、OpenAI、Amazon、Nvidia、Meta 等)加 INTERNAL、OTHER、UNDISCLOSED、OPEN-SOURCE MODEL。
- 实质性:1 为套话,可几乎原样出现在任何报告;2 为中等,点出领域但缺机制或缓解;3 为实质性,描述具体机制,并给出控制、具名系统或可测目标。报告级取段落数最多的档,并列时取更高档。Figure 3 与 Figure 8 的报告级数字都用这一规则。
校验与分类法检查
- 人工对照:474 段,来自 15 家公司的 30 份报告,覆盖 12 个 CNI 行业中的 10 个,不含 Data Infrastructure 与 Civil Nuclear。一名标注者事后裁定:凡初标与分类器不一致处都复看。没有第二名独立标注者,因此没有标注者间一致性基线。
- 开放分类法:对校验集中 100 条 AI 风险提及做自由标签,96 条成功,得到 107 个标签。正文称人工归并后的主题都没有落在固定十类之外。附录 I 称归成八个主题,六个直接对应固定类;数据治理与模型伦理并不一一对应,但最接近 Regulatory/Compliance 与 Reputational/Ethical。Operational/Technical、Information Integrity、Environmental Impact、National Security 在这 96 段里没有作为涌现主题出现。作者认为这次检查没有提示缺失的大类,但并不独立验证未出现的四类。
What experiments did the paper conduct?
2025年41.2%提及AI风险,实质性4.3%;9821份里伤害标签仅7份。
实验设置
- 模型:分类用 Gemini 3 Flash。PDF 回退转换用 Mistral OCR。CNI 映射用 LLM 自动评分器,论文未给出模型名。没有单独的 LLM 裁判。
- 语料:9,821 份报告、1,362 家公司。2025 年 1,561 份来自 884 家。各年公司数为 739、896、1,020、1,002、1,032、884、207(2020–2026)。2026 为截至 2026 年 4 月的 339 份,进入趋势图并单独报告,不用于同比。
- 指标:文件加权的报告占比。风险等实质性在报告级按多数档,并列取更高。Stage-1 报告精确率、召回,以及标签集的平均 Jaccard。
- 参照:474 段人工标签,一名标注者加裁定。保留置信度不低于 0.2 的标签。论文未报告重复运行次数。
- 板块:FTSE 100 含于 FTSE 350,FTSE 350 含于主板。2025 年印刷比较用数据商分类:703 份主板、171 份 AIM;其余 687 份(676 份无板块、11 份 Aquis)不进入该比较。
- 行业:12 个 CNI 行业加 other。作者称每年报告数少于 30 的行业比率只作示意。
主结果
据 Table 5(占当年已处理报告的百分比;2026 为部分年份):
Swipe horizontally to read the table
年份 报告数 任一AI 采纳 风险 供应商 2020 1,007 19.8% 13.8% 2.8% 3.1% 2021 1,328 27.4% 20.9% 4.2% 4.2% 2022 1,853 28.4% 22.5% 4.8% 5.7% 2023 1,905 36.8% 25.8% 9.8% 7.5% 2024 1,828 55.2% 36.8% 30.4% 14.6% 2025 1,561 65.5% 45.2% 41.2% 19.2% 2026部分 339 77.3% 63.1% 66.4% 29.5% - 分段:作者把走势分成三段。2020–2022 采纳提及上升而风险滞后,二者差距在 2022 年扩到 17.7 个百分点。2023 年的上升出现在 ChatGPT 发布后数月起草的报告中,但这些报告大多对应截至 2022 年的财年。作者称台阶出现在 2024,即其后第一个完整报告周期,并称出版年滞后于财年。
- 一般提及:Table 5 的一般/含糊类从 2020 年 12.2% 到 2025 年 56.1%,超过采纳。仅含一般/含糊提及的报告在 2025 年为 6.9%(108/1,561)。作者认为套话大多叠在更具体披露之上,而不是取而代之。
- 仍未提及与倍数:2025 年 918/1,561(58.8%)完全没有提及 AI 风险。作者称风险提及份额大约是 2020 年的十五倍(28 份到 643 份),报告份数大约是二十三倍。部分 2026 年风险占比高于采纳;作者称这些数字不是定稿。
分类器校验
- Stage-1:474 段上,标签集平均 Jaccard 为 0.73。Table 2 召回为 0.91–0.97;精确率因标签而异:risk 0.82(支持数 101)、vendor 0.67(33)、adoption 0.57(147)、general/ambiguous 0.58(159)、none 0.93(165)。harm 支持数为 0,精确率 0.00;分类器有 40 个假阳性。
- 更细标签:Stage-2 采纳类型 Jaccard 0.41,十类风险 0.33;三类多标签平均 0.49、中位数 0.41。供应商 Stage-2 不能按标签粒度计分,存档只留二元标记;是否出现供应商按 Stage-1 校验。作者认为差距多来自分类器标得更全,且常常仍然成立。
- 作者如何使用:摘要称高召回、标签级一致性中等。正文称提及类型级的高召回和中等精确率足以支持趋势分析;更细标签噪声更大,解释时据此处理。
风险类别、供应商与伤害
- 类别:2025 年领先的是 Strategic/Competitive(27.4% 的报告)、Cybersecurity(25.7%)、Operational/Technical(24.2%)。Information Integrity 从 2020 年 1 份(0.1%)到 2025 年 162 份(10.4%);Workforce Impacts 从 3 份(0.3%)到 132 份(8.5%),作者称份额大约是原来的 28 倍。Figure 2 给出十类逐年占比;图注称 2026 部分年份超出按 2020–2025 设定的色标。
- 供应商:2025 年 Microsoft 98 份,其后 Google 47、Amazon 42、OpenAI 38;其他具名提供方 154 份,未点名第三方 65 份(正文与 Figure 3)。供应商提及报告中 64.5% 被评为实质性,但作者指出点名本身就满足“具名系统”标准。仅 19.2% 的 2025 年报告含供应商提及,AI 提及报告中 29.2% 点名供应商。图注称 OpenAI 在 2023 年前作为披露供应商基本缺席(2021 年 3 份,2020 与 2022 年 0 份)。
- 伤害:9,821 份中只有 7 份含伤害标签,共 9 段。人工复看后,5 段、跨 4 份报告描述已实现的 AI 造成事件。作者认为年报也许不适合监测已实现事件,该计数也很少说明事件实际有多常发生。
行业、板块与实质性
- 行业:Table 6 中,2025 年任一 AI 提及率 Government 为 87.0%(20/23),Communications 为 86.2%(25/29);作者称报告太少,二者在统计上无法区分。二者的 AI 风险占比分别为 60.9% 与 51.7%。Communications 的风险占比同比 +26.7 个百分点(29 份)。Finance 占量最大:461/1,362 家以 Finance 为主要 CNI,2025 年 657 份;其中 292 家是投资基金而非经营企业。
- 低风险提及:在至少 10 份 2025 年报告的行业中,Data Infrastructure 最低,20 份里 18 份(90.0%)没有 AI 风险提及;Energy 为 112/140(80.0%)。正文称 Energy 的采纳为 21%、供应商为 9%;Data Infrastructure 采纳 55%、供应商 25%。作者认为不能从披露文本区分这是风险感知、治理过程还是披露惯例。Civil Nuclear 仅 3 份,任一 AI 与风险均为 0.0%,不进入上述“最低”比较。
- 板块:Table 3,2025 年 AI 风险提及率 FTSE 100 为 68.6%(223 份、85 家),FTSE 350 为 63.0%(606 份),主板 57.8%(703 份),AIM 6.4%(171 份)。作者称主板与 AIM 相差 51.4 个百分点、约九倍,并认为很可能反映 AIM 更轻的治理制度以及规模与治理资源差异。脚注写明 AIM 公司仍须按《公司法 2006》第 414C 条描述主要风险,但不受英国上市规则、披露指引与透明度规则和英国公司治理守则约束。Table 3 里主板风险 57.8% 略高于采纳 55.6%,FTSE 350 为 63.0% 对 61.2%;FTSE 100 采纳 79.8% 仍高于风险 68.6%。
- 实质性:Table 4,2025 年实质性 AI 风险占全部报告 4.3%,与全部风险提及 41.2% 相差 36.9 个百分点;该差距 2020 年为 2.5 个百分点。643 份风险提及中 67 份(10.4%)为实质性。Table 7:风险类实质性 10.4%、中等 78.5%、套话 11.0%(n=643);采纳实质性 33.8%(n=705);供应商实质性 64.5%(n=299)。作者称风险是最不具体的一类,供应商数字不能直接比较;套话只占各类型的 10.7–11.0%,多数风险披露是中等而非套话。第 5.2 节给出介质上限、治理尚不成熟、合规性提及和报告激励等非互斥解释。
其他消融与分析
- 显式归因(信号 3):附录 F 为 2025 年 30.3% 对任一风险标签 41.2%;Figure 6 标为 30% 对 41%。作者称只保留实质性后,增长曲线被压平。
- 公司级对文档级,2025:任一 AI 65.6% 对 65.5%,风险 41.6% 对 41.2%,采纳 46.7% 对 45.2%。
- 部分 2026 的 AI 风险:公司级 72.0%,文档级 66.4%。
- 细化主板映射:1,287 份,任一 AI 70.9%,风险 46.9%。作者称印刷版主板比率应读作指数成分与明确标注的主板发行方。
- 开放分类法:100 段中 96 段成功,107 个自由标签;正文与附录 I 对“是否落在十类之外”的说法见第 3 问。
- Figure 12:中等档每年占主导。作者称 2023 起风险提及报告中实质性约占 10%;2020–2022 最高到 18%,但报告很少。
What are some points that can be further explored?
作者认为披露不等于暴露,且还不能区分低实质性的几种解释。
作者指出的局限与后续方向
- 披露不是暴露(第 5.3 节):分析的是公司选择写什么,不是实际做法或经历。披露多不必然治理更好;披露少可能是未识别、选择不披露,或 AI 尚不重要。文本本身不能区分这些情形。
- 报告不完整(第 5.3 节):年报面向股东和监管者。公司可能省略商业敏感、法律上有风险或不被要求的细节。中等实质性占比高,可能是内部有信息但未披露,而不一定是信息不存在。作者用了 may。
- 关键词门与误差方向(第 5.3 节):不把 AI 明确说出来的表述不会被计入,显式披露计数会低估以其他说法框定的讨论。下游分类器也有假阳性,报告比率不是严格下界。作者称没有量化误差的净方向。
- 实质性只是代理(第 5.3 节):中等与实质性的边界主观,LLM 在边界案例上可能与人类专家不同。应视为近似质量指标,不是精确测量。
- 校验、辖区与 2026(第 5.1、5.3 节):校验集来自大盘主板、2023–2024 年申报,不独立验证 AIM 或早年报告。稀有标签(如 agentic 采纳、国家安全风险)的子类精确率仍不确定。参照由一名标注者产生,没有独立的标注者间一致性,作者称应读作经整理的基准,而不是无歧义真值。方法只在英国申报上测试过。部分 2026 为截至 2026 年 4 月的 339 份,不应当作定稿。
- 不能回答的解释与下一步(第 5.2 节、结论):低实质性可能来自介质本身的上限、AI 风险管理框架尚新、主要为向监管者与投资者表示知晓,或为避免责任与投资者反应而选择模糊。作者称这些解释非互斥,政策含义不同,但本研究提出了该问题还不能回答。结论称,把披露模式连到基础风险管理的质量与操作准备度,需要本文范围之外的互补数据与方法。
实验覆盖范围
- 语料为英国注册、主板、AIM 与 Aquis 的年报:全集 1,469 家中的 1,362 家、9,821 份,出版年 2020–2025,另有截至 2026 年 4 月的 339 份(第 3.1 节、Table 1)。
- 分类模型为 Gemini 3 Flash。人工校验为 474 段、30 份报告、15 家公司、12 个 CNI 行业中的 10 个(第 3.4 节、Table 1–2)。论文写明没有第二名标注者,故未报告标注者间一致性。
- 行业数字覆盖 Table 6 的 12 个 CNI 行业。板块印刷表使用 703 份主板与 171 份 AIM,排除 687 份(第 4.5 节、Table 3)。
- 伤害标签的 9 段全部人工复看(第 4.4 节)。采纳类型分数由流水线计算,本文未分析(第 3.3 节)。
- 论文写明 Stage-2 供应商不能按标签粒度计分。开放分类法检查为 100 段中的 96 段(附录 I)。论文未报告分类器的重复运行次数。
Summarize the main content of the paper
年报能追踪英国上市企业的AI披露趋势,但2025年实质性风险披露只有4.3%。
用 LLM 从英国上市企业年报抽取 AI 披露,看它能否为社会韧性研究提供信号。
- 问题:作者要在故障前知道 AI 依赖与风险、尤其是 CNI 中的累积。年报依法强制且逐年结构稳定,但是否含有可用的 AI 应对信号,需要实测。
- 做法:对 1,362 家英国注册上市企业的 9,821 份 2020–2025 年报(另有部分 2026)做关键词门控,再用 Gemini 3 Flash 做两阶段分类,标出采纳、风险、供应商和伤害,把风险映到十类,并按套话、中等、实质性定档。
- 可行性:对照 474 段人工标注,Stage-1 召回为 0.91–0.97,风险精确率 0.82,采纳精确率 0.57;Stage-1 Jaccard 为 0.73,十类风险为 0.33。作者称这足以支持趋势,更细标签噪声更大。
- 趋势:提及 AI 风险的报告占比从 2020 年 2.8% 到 2025 年 41.2%,采纳从 13.8% 到 45.2%。2025 年主板为 57.8%,AIM 为 6.4%。具名供应商以 Microsoft 居首,当年 98 份。
- 信号质量:2025 年被归为实质性的 AI 风险披露只占全部报告 4.3%;643 份风险提及中 10.4% 为实质性,78.5% 为中等。伤害标签只出现在 7/9,821 份报告。
- 作者的结论:年报可以追踪各 CNI 行业的 AI 风险披露如何变化,但不适合监测已实现事件。披露广度超过深度。差距来自介质、框架尚新还是策略性模糊,作者称本文不能回答。连到实际风险管理需要其他数据。作者还认为,2024 年英国公司治理守则 Provision 29 可能推动适用该守则的董事会对 AI 相关控制写得更具体,但它不直接规定风险披露的具体程度,也不适用于 AIM。