下载
中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助
昇腾小AI

算子在线编译选项

功能简介

模型编译时,支持用户在线编译和使用编译好的算子二进制文件。用户根据实际情况自行设置。

使用方法

该功能通过torchair.get_npu_backend中compiler_config参数配置,配置示例如下,参数说明参见表1

1
2
3
4
5
import torch_npu, torchair 
config = torchair.CompilerConfig()
# 算子在线编译选项配置
config.experimental_config.jit_compile = "auto"
npu_backend = torchair.get_npu_backend(compiler_config=config)
表1 参数说明

参数名

参数说明

是否必选

jit_compile

算子编译方式,缺省值为“auto”。当前仅支持配为“auto”,系统自行判断编译方式。

  • 针对静态shape网络,选择在线编译算子。
  • 针对动态shape网络,优先查找系统中已编译好的算子二进制,如果查找不到对应的二进制,再在线编译算子。

搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词