--virtual_type
功能说明
是否支持AOE调优在昇腾虚拟化实例生成的虚拟设备上运行。
昇腾虚拟化实例是当前芯片算力比较大,云端用户或者小企业完全不需要使用这么大算力,而支持对芯片的算力进行切分,可满足用户按照自己的业务按需申请算力的诉求。
虚拟设备是按照指定算力在芯片上申请的虚拟加速资源。
该参数不支持SGAT调优。
关联参数
无。
参数取值
参数值:
- 0:AOE调优不在昇腾虚拟化实例生成的虚拟设备上运行。
- 1:AOE调优在所有类型的虚拟设备上运行。
参数值约束:当参数取值为1时,使用AOE工具调优后产生的模型,如果包括3所列的算子,会默认使用单核,该场景下,将会导致转换后的模型推理性能下降。
参数默认值:0
推荐配置及收益
无。
示例
--virtual_type=1
使用约束
当前该参数仅支持Atlas 推理系列产品。
- 使用该参数时,请确保运行环境已经搭建好昇腾虚拟化实例环境。
- 若使用virtual_type=1进行AOE调优,则在调优时NPU运行核数(blockdim)可能比实际aicore_num核数大,为aicore_num支持配置范围的最小公倍数:
例如aicore_num支持配置范围为{1,2,4,8},则使用virtual_type=1参数调优时,NPU运行核数为8。
- virtual_type=1时,使用AOE工具调优后产生的模型,如果包括如下算子,默认使用单核,会导致推理性能下降:
- DynamicRNN
- PadV2D
- SquareSumV2
- DynamicRNNV2
- DynamicRNNV3
- DynamicGRUV
父主题: 基础功能