问题现象

大模型推理过程中精度调优的目标是为了保障模型在昇腾平台上的推理能力，通常使用数据集校准或与标杆模型的输出进行比较的方式对模型的推理能力进行评估。在精度调优过程中，常见的精度问题主要有以下几种：

• 模型胡言乱语，无法正常对话。
• 模型与标杆在回答时存在语义偏差，或确定性问题的回答存在明显差异（例如判断题的结果）。
• 数据集评测不通过。

虽然常见问题的现象、根因各异，但都可以通过本文介绍的大模型推理精度问题快速分析方法进行定位分析。