借助 ReLU 催化的抽象精化精确验证 Transformer
Precise Verification of Transformers through ReLU-Catalyzed Abstraction Refinement
AI 导读
研究提出用 ReLU 催化的抽象精化提升 Transformer 形式化验证精度：以 ReLU 表示点积的非线性边界，再借助已有 ReLU 凸松弛推导精确输出范围，并把基于规则与基于优化两类方法扩展成两个验证框架。在两个情感分析数据集衍生的鲁棒性属性上，针对不同模型架构与最先进基线对比，多数验证任务精度显著提升，效率有可接受的下降。