下载
中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助
昇腾小AI

--virtual_type

功能说明

是否支持AOE调优在昇腾虚拟化实例生成的虚拟设备上运行。

昇腾虚拟化实例是当前芯片算力比较大,云端用户或者小企业完全不需要使用这么大算力,而支持对芯片的算力进行切分,可满足用户按照自己的业务按需申请算力的诉求。

虚拟设备是按照指定算力在芯片上申请的虚拟加速资源。

该参数不支持SGAT调优。

关联参数

无。

参数取值

参数值:

  • 0:AOE调优不在昇腾虚拟化实例生成的虚拟设备上运行。
  • 1:AOE调优在所有类型的虚拟设备上运行。

参数值约束:当参数取值为1时,使用AOE工具调优后产生的模型,如果包括3所列的算子,会默认使用单核,该场景下,将会导致转换后的模型推理性能下降。

参数默认值:0

推荐配置及收益

无。

示例

--virtual_type=1

使用约束

当前该参数仅支持Atlas 推理系列产品

  1. 使用该参数时,请确保运行环境已经搭建好昇腾虚拟化实例环境。
  2. 若使用virtual_type=1进行AOE调优,则在调优时NPU运行核数(blockdim)可能比实际aicore_num核数大,为aicore_num支持配置范围的最小公倍数:

    例如aicore_num支持配置范围为{1,2,4,8},则使用virtual_type=1参数调优时,NPU运行核数为8。

  3. virtual_type=1时,使用AOE工具调优后产生的模型,如果包括如下算子,默认使用单核,会导致推理性能下降:
    • DynamicRNN
    • PadV2D
    • SquareSumV2
    • DynamicRNNV2
    • DynamicRNNV3
    • DynamicGRUV
搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词