下载
中文
注册

ENABLE_DYNAMIC_SHAPE_MULTI_STREAM

功能描述

计算图执行时,开启多流并发执行功能在一定场景下可提升网络性能。当前多流并发执行功能默认关闭,动态shape图模式场景下,若开发者想开启多流并发执行功能,可通过此环境变量开启。

  • 0:关闭多流并发执行功能,默认值。
  • 1:开启多流并发执行功能。

配置示例

多流并发执行功能默认关闭,如果需要开启,请设置此环境变量的值为“1”。

export ENABLE_DYNAMIC_SHAPE_MULTI_STREAM=1

使用约束

PyTorch图模式场景下,图编译config中single stream的配置优先级高于ENABLE_DYNAMIC_SHAPE_MULTI_STREAM环境变量。

换言之,若PyTorch图模式的config开启了单流执行,同时使能了多流执行的环境变量,以前者为准,PyTorch图模式配置示例如下:

config.ge_config.enable_single_stream = True

支持的型号

Atlas 200/300/500 推理产品

Atlas 训练系列产品

Atlas 推理系列产品

Atlas A2 训练系列产品/Atlas 800I A2 推理产品

Atlas 200I/500 A2 推理产品