精度问题定位流程

大模型加速库精度比对是以PyTorch（GPU或者NPU）侧或者低粒度模式的数据作为基准数据，比对加速库推理（或高粒度替换）的数据与基准数据之间的差异，辅助开发者找出加速库侧的问题算子。

总体步骤如下：

• 数据集评测：从performance维度评判模型精度，后续Benchmark将提供自动数据集评测功能。
• 回答差异分析：从token维度评判模型精度，其中找到回答的差异句子后，分析差异句子的具体词存在差异，同时通过模型的token输出indices矩阵进行比较，可以判断出具体某个token轮次的推理结果存在问题。
• tensor差异分析：在定位到是第K个token的推理结果问题后，可以通过自动映射比对或者半自动设置第k轮次的方法进行逐个tensor的比对，进一步缩小范围。