--virtual_type

功能说明

是否支持离线模型在昇腾虚拟化实例特性生成的虚拟设备上运行。

当前芯片算力比较大，云端用户或者小企业完全不需要使用这么大算力，昇腾虚拟化实例特性支持对芯片的算力进行切分，可满足用户按照自己的业务按需申请算力的诉求

虚拟设备是按照指定算力在芯片上申请的虚拟加速资源。

关联参数

当--buffer_optimize参数值设置为l1_optimize，则不能与--virtual_type参数同时使用，会出现报错，表示虚拟化场景不做l1融合，防止算子过大导致调度异常。

参数取值

• 0：默认值，离线模型不在昇腾虚拟化实例特性生成的虚拟设备上运行。
• 1：离线模型在不同算力的虚拟设备上运行。

推荐配置及收益

无。

示例

--virtual_type=1

支持的产品形态

Atlas 推理系列产品

Atlas 训练系列产品

Atlas A2训练系列产品/Atlas 800I A2推理产品

使用约束

• 使用该参数时，请确保运行环境已经搭建好昇腾虚拟化实例特性环境。
• 针对MindSpore框架：
  • ReduceMean算子不支持使用--virtual_type参数。
  • ReverseV2算子仅在Atlas 推理系列产品、Atlas 训练系列产品支持使用--virtual_type参数。
• 若使用--virtual_type=1进行模型转换，则转换后离线模型的NPU运行核数（blockdim）可能比实际aicore_num核数大，为aicore_num支持配置范围的最小公倍数：

  例如aicore_num支持配置范围为{1,2,4,8}，则使用--virtual_type=1参数转换后的离线模型，NPU运行核数可能为8。

• --virtual_type=1时，使用ATC工具转换后的模型，如果包括如下算子，会默认使用单核，该场景下，将会导致转换后的模型推理性能下降：
  • DynamicRNN
  • PadV2D
  • SquareSumV2
  • DynamicRNNV2
  • DynamicRNNV3
  • DynamicGRUV