ENABLE_DYNAMIC_SHAPE_MULTI_STREAM

功能描述

计算图执行时，开启多流并发执行功能在一定场景下可提升网络性能。当前多流并发执行功能默认关闭，动态shape图模式场景下，若开发者想开启多流并发执行功能，可通过此环境变量开启。

• 0：关闭多流并发执行功能，默认值。
• 1：开启多流并发执行功能。

配置示例

多流并发执行功能默认关闭，如果需要开启，请设置此环境变量的值为“1”。

export ENABLE_DYNAMIC_SHAPE_MULTI_STREAM=1

使用约束

PyTorch图模式场景下，图编译config中single stream的配置优先级高于ENABLE_DYNAMIC_SHAPE_MULTI_STREAM环境变量。

换言之，若PyTorch图模式的config开启了单流执行，同时使能了多流执行的环境变量，以前者为准，PyTorch图模式配置示例如下：

config.ge_config.enable_single_stream = True

支持的型号

Atlas 200/300/500 推理产品

Atlas 训练系列产品

Atlas 推理系列产品

Atlas A2训练系列产品/Atlas 800I A2推理产品

Atlas 200/500 A2推理产品