下载
中文
注册

算子在线编译选项

功能简介

模型编译时,支持用户在线编译和使用编译好的算子二进制文件。用户根据实际情况自行设置。

使用方法

该功能通过torchair.get_npu_backend中compiler_config参数配置,配置示例如下,参数说明参见表1

1
2
3
4
5
import torch_npu, torchair 
config = torchair.CompilerConfig()
# 算子在线编译选项配置
config.experimental_config.jit_compile = "auto"
npu_backend = torchair.get_npu_backend(compiler_config=config)
表1 参数说明

参数名

参数说明

是否必选

jit_compile

算子编译方式,缺省值为“auto”。当前仅支持配为“auto”,系统自行判断编译方式。

  • 针对静态shape网络,选择在线编译算子。
  • 针对动态shape网络,优先查找系统中已编译好的算子二进制,如果查找不到对应的二进制,再在线编译算子。