enum class BuilderFlag
说明
枚举类型,模型编译时的数据类型选项。
定义
enum class BuilderFlag : size_t { FP16 = 0, FP32 = 1, MIX_FP32_WITH_FP16 = 2, MIX_FP16 = 3, QINT8 = 4 };
成员
成员名称 |
描述 |
---|---|
FP16 |
模型编译时,内部数据类型强制转换为float16。 |
FP32 |
模型编译时,内部数据类型强制转换为float32。 |
MIX_FP32_WITH_FP16 |
模型编译时,内部数据类型为float16与float32混合,优先选择float32。 |
MIX_FP16 |
模型编译时,内部数据类型为float16与float32混合,优先选择float16。 在该模式下,可通过环境变量MINDIE_MODIFY_MIXLIST,配置混合精度的黑白名单,配置算子的执行精度。 |
QINT8 |
模型编译时,自动执行PTQ量化。 |
父主题: 数据结构参考