下载
中文
注册

enum class BuilderFlag

说明

枚举类型,模型编译时的数据类型选项。

定义

enum class BuilderFlag : size_t {
    FP16               = 0,
    FP32               = 1,
    MIX_FP32_WITH_FP16 = 2,
    MIX_FP16           = 3,
    QINT8              = 4
};

成员

成员名称

描述

FP16

模型编译时,内部数据类型强制转换为float16。

FP32

模型编译时,内部数据类型强制转换为float32。

MIX_FP32_WITH_FP16

模型编译时,内部数据类型为float16与float32混合,优先选择float32。

MIX_FP16

模型编译时,内部数据类型为float16与float32混合,优先选择float16。

在该模式下,可通过环境变量MINDIE_MODIFY_MIXLIST,配置混合精度的黑白名单,配置算子的执行精度。

QINT8

模型编译时,自动执行PTQ量化。