参考基准：多次训练验证精度一致

目标

基准模型多次训练需要得到相同的结果预期。

思路

如果基准模型的多次训练相互对比不满足精度对比要求，那么该参考基准不适合用于精度对比，相应分析思路为：

• 模型算法稳定，不引起多次训练较大结果偏差。
• 数据集质量较高，不引起多次训练较大结果偏差。
• 超参稳定，不引起多次训练较大结果偏差。

参考步骤

对于成熟模型（即hyperparameter borrowing）：

1. 检查执行时使用的超参，确保与给定基准一致。
2. 对于集群训练，检查集群训练模式，确保与给定基准一致。
3. 检查数据集文件，确保与给定基准一致。
4. 检查模型代码与执行参数，确保构造的计算逻辑与给定基准一致。
5. 进一步检查计算图，确保计算流程与算子维度与给定基准一致。
6. 重新训练模型并验证最终模型准确度。如果仍旧未达到基准，重复以上检查直到与基准一致。
7. 重复三次以上的训练，确保每次训练的验证准确度均能够与基准一致。如果有不一致现象，重复以上检查直到满足各步骤需求。

对于成熟模型自定义超参：

1. 如果数据集文件为自定义样本，需要确保标记信息没有错误，且格式符合模型的设计预期。
2. 如果无法确认数据集文件的准确性，请直接使用成熟模型提供的数据集（可进行适当裁剪）。
3. 以成熟模型的原始超参为基准，基于实际训练数据集与集群规模进行修改，得到一组待测超参。
4. 重复三次以上的训练，确保每次训练的验证准确度均一致。如果有不一致的现象，重复以上检查直到满足各步骤需求。

对于自定义模型：

• 确保数据集标记没有错误。
• 选定一组调试时稳定的待测超参。
• 重复三次以上的训练，确保每次训练的验证准确度均一致。如果有不一致的现象，调整超参、模型结构并重复以上检查，直到满足各步骤需求。