--virtual_type

功能说明

是否支持AOE调优在昇腾虚拟化实例生成的虚拟设备上运行。

昇腾虚拟化实例是当前芯片算力比较大，云端用户或者小企业完全不需要使用这么大算力，而支持对芯片的算力进行切分，可满足用户按照自己的业务按需申请算力的诉求。

虚拟设备是按照指定算力在芯片上申请的虚拟加速资源。

该参数不支持SGAT调优。

关联参数

无。

参数取值

参数值：

• 0：AOE调优不在昇腾虚拟化实例生成的虚拟设备上运行。
• 1：AOE调优在所有类型的虚拟设备上运行。

参数值约束：当参数取值为1时，使用AOE工具调优后产生的模型，如果包括3所列的算子，会默认使用单核，该场景下，将会导致转换后的模型推理性能下降。

参数默认值：0

推荐配置及收益

无。

示例

--virtual_type=1

使用约束

当前该参数仅支持Atlas 推理系列产品（Ascend 310P处理器）。

1. 使用该参数时，请确保运行环境已经搭建好昇腾虚拟化实例环境。
2. 若使用virtual_type=1进行AOE调优，则在调优时NPU运行核数（blockdim）可能比实际aicore_num核数大，为aicore_num支持配置范围的最小公倍数：

   例如aicore_num支持配置范围为{1,2,4,8}，则使用virtual_type=1参数调优时，NPU运行核数为8。

3. virtual_type=1时，使用AOE工具调优后产生的模型，如果包括如下算子，默认使用单核，会导致推理性能下降：
   • ActULQClampMaxGrad
   • ActULQClampMinGrad
   • BiasAddGrad
   • BinaryCrossEntropy
   • Cdist
   • CdistGrad
   • Dot
   • DynamicRNN
   • GlobalLpPool
   • KLDiv
   • L2Loss
   • LayerNorm
   • LpLoss
   • LpNorm
   • LpNormReduce
   • MseLoss
   • PadV2
   • PadV2D
   • PadV3
   • ReduceAll
   • ReduceAllD
   • ReduceAny
   • ReduceAnyD
   • ReduceLogSum
   • ReduceLogSumExp
   • ReduceMax
   • ReduceMaxD
   • ReduceMean
   • ReduceMeanD
   • ReduceMeanWithCount
   • ReduceMin
   • ReduceMinD
   • ReduceProd
   • ReduceProdD
   • ReduceStdV2Update
   • ReduceStdWithMean
   • ReduceSum
   • ReduceSumD
   • SmoothL1LossV2
   • SquareSumV1
   • SquareSumV2
   • SyncBatchNormGatherStatsWithCounts
   • DynamicRNNV2
   • DynamicRNNV3
   • DynamicGRUV