模型推理精度下降

适用场景

• 业务场景：DVPP，精度调优
• 适用处理器：Atlas 推理系列产品
• 处理器形态：EP、RC

现象描述

JPEG图片集经过DVPP的JPEG解码模块，解码成yuv420格式，再经过VPC进行缩放处理，再经过AIPP进行色域变换处理成rgb格式，最后经过AI Core进行网络推理（推理网络为Resnet50，yolo3），与下面对比实验进行比对，图像集的整体推理精度存在下降。

对比实验：JPEG图片集经过opencv解码，解码成rgb格式，再经过opencv缩放，最后经过AI Core进行网络推理。

可能原因

可能原因分析：

• DVPP的JPEG模块解码算法使用较新的libjpeg-turbo算法（Opencv3.4.4及以上），而已经训练好的模型，一般是使用libjpeg算法（Opencv2.4.9中的解码算法）训练得到的，造成这个模型不是最适配DVPP解码的模型。
• DVPP的VPC缩放算法采用的是自研算法，而已经训练好的模型，一般是使用双线性插值算法（Opencv默认算法）训练得到的，造成这个模型不是最适配DVPP缩放的模型。

定位思路

确定精度下降的原因是否为DVPP解码和缩放导致，具体过程如下：

1. 进行对比实验，实验过程如图1所示，对照组是用Opencv进行解码和缩放，如果与对照组精度相比下降，则认为是由于DVPP解码和缩放导致。
   图1 DVPP解码与缩放
   

2. 进行对比实验，实验过程如图2所示，对照组仍然使用Opencv进行解码和缩放，如果与对照组精度相比下降，则认为DVPP解码对精度有影响。
   图2 DVPP解码
   

3. 进行对比实验，实验过程如图3所示，对照组仍然使用Opencv进行解码和缩放，如果与对照组精度相比下降，则认为DVPP缩放对精度有影响。
   图3 DVPP缩放
   

处理步骤

建议使用“DVPP JPEG解码+VPC缩放+AIPP色域转换”获取RGB图片，再对已有模型进行增量训练或者重新全量训练，得到新的模型用于推理。

您可以获取日志后单击Link联系技术支持。