ascendie.BuilderFlag
说明
枚举类型,模型编译时的数据类型选项。
成员
成员名称 |
描述 |
---|---|
fp16 |
模型编译时,内部数据类型强制转换为float16。 |
fp32 |
模型编译时,内部数据类型强制转换为float32。 |
pref_fp16 |
模型编译时,内部数据类型为float16与float32混合,且优先使用float16。 |
pref_fp32 |
模型编译时,内部数据类型为float16与float32混合,且优先使用float32。 |
int8 |
模型编译时,自动执行PTQ量化。 |
父主题: 基础数据结构