下载
中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助
昇腾小AI

算子工程编译

算子kernel侧和host侧实现开发完成后,需要对算子工程进行编译,生成自定义算子安装包*.run,详细的编译操作包括:

  • 编译Ascend C算子kernel侧代码实现文件*.cpp,分为源码发布和二进制发布两种方式。
    • 源码发布:不对算子kernel侧实现进行编译,保留算子kernel源码文件*.cpp。该方式可以支持算子的在线编译、通过ATC模型转换的方式编译算子的场景。
    • 二进制发布:对算子kernel侧实现进行编译,生成描述算子相关信息的json文件*.json和算子二进制文件*.o。算子调用时,如果需要直接调用算子二进制,则使用该编译方式,比如通过单算子API执行的方式完成单算子的调用,Pytorch框架中单算子调用的场景,动态网络中调用算子的场景。
  • 编译Ascend C算子host侧代码实现文件*.cpp、*.h。
    • 将原型定义和shape推导实现编译成算子原型定义动态库libcust_opsproto_*.so,并生成算子原型对外接口op_proto.h。
    • 将算子信息库定义编译成信息库定义文件*.json。
    • 将Tiling实现编译成Tiling动态库liboptiling.so等。
    • 自动生成单算子API调用代码和头文件aclnn_*.h,并编译生成单算子API调用的动态库libcust_opapi.so。
上述编译过程示意图如下:
图1 算子工程编译示意图

编译步骤

  1. 修改工程目录下的CMakePresets.json cacheVariables的配置项,完成工程编译相关配置。CMakePresets.json文件内容如下:
    {
        "version": 1,
        "cmakeMinimumRequired": {
            "major": 3,
            "minor": 19,
            "patch": 0
        },
        "configurePresets": [
            {
                "name": "default",
                "displayName": "Default Config",
                "description": "Default build using Unix Makefiles generator",
                "generator": "Unix Makefiles",
                "binaryDir": "${sourceDir}/build_out",
                "cacheVariables": {
                    "CMAKE_BUILD_TYPE": {
                        "type": "STRING",
                        "value": "Release"
                    },
                    "ENABLE_SOURCE_PACKAGE": {
                        "type": "BOOL",
                        "value": "True"
                    },
                    "ENABLE_BINARY_PACKAGE": {
                        "type": "BOOL",
                        "value": "True"
                    },
                    "ASCEND_COMPUTE_UNIT": {
                        "type": "STRING",
                        "value": "ascend910"
                    },
                    "ENABLE_TEST": {
                        "type": "BOOL",
                        "value": "True"
                    },
                    "vendor_name": {
                        "type": "STRING",
                        "value": "customize"
                    },
                    "ASCEND_CANN_PACKAGE_PATH": {
                        "type": "PATH",
                        "value": "/usr/local/Ascend/latest"        //请替换为CANN软件包安装后的实际路径
                    },
                    "ASCEND_PYTHON_EXECUTABLE": {
                        "type": "STRING",
                        "value": "python3"
                    },
                    "CMAKE_INSTALL_PREFIX": {
                        "type": "PATH",
                        "value": "${sourceDir}/build_out"
                    },
                    "ENABLE_CROSS_COMPILE": {      //使能交叉编译,请根据实际环境进行配置
                        "type": "BOOL",
                        "value": "False"
                    },
                    "CMAKE_CROSS_PLATFORM_COMPILER": {     //请替换为交叉编译工具安装后的实际路径
                        "type": "PATH",
                        "value": "/usr/bin/aarch64-linux-gnu-g++"
                    }
                }
            }
        ]
    }
    表1 需要开发者配置的常用参数列表

    参数名称

    参数描述

    默认值

    ASCEND_CANN_PACKAGE_PATH

    CANN软件包安装路径,请根据实际情况进行修改。

    “/usr/local/Ascend/latest”

    CMAKE_BUILD_TYPE

    编译模式选项,可配置为:

    • “Release”,Release版本,不包含调试信息,编译最终发布的版本。
    • “Debug”,“Debug”版本,包含调试信息,便于开发者开发和调试。

    “Release”

    ENABLE_SOURCE_PACKAGE

    是否开启源码编译

    “True”

    ENABLE_BINARY_PACKAGE

    是否开启二进制编译

    “True”

    vendor_name

    标识自定义算子所属厂商的名称。建议开发者自行指定所属厂商名称,避免和其他厂商提供的算子包冲突。

    “customize”

  2. 在算子工程目录下执行如下命令,进行算子工程编译。

    ./build.sh

    编译成功后,会在当前目录下创建build_out目录,并在build_out目录下生成自定义算子安装包custom_opp_<target os>_<target architecture>.run

算子包交叉编译

完成算子代码实现后,如果当前平台架构和运行环境一致则参考上一节的内容进行编译即可,如果需要实现算子包的交叉编译,您可以参考如下流程。

  1. 交叉编译工具下载,下表以Ubuntu系列操作系统为例,展示了编译工具下载命令的样例。其他操作系统,请替换为实际的下载命令。
    表2 Ubuntu系列操作系统交叉编译工具下载命令样例

    当前平台架构

    运行环境平台架构

    编译工具下载命令

    x86_64

    aarch64

    sudo apt-get install -y g++-aarch64-linux-gnu

    aarch64

    x86_64

    sudo apt-get install g++-x86-64-linux-gnu

  2. 自定义算子工程交叉编译,构建生成自定义算子包。
    1. 完成交叉编译前,需要修改CMakePresets.json中ASCEND_CANN_PACKAGE_PATH为CANN软件包安装路径。
    2. 二进制包编译不支持交叉编译,需要修改CMakePresets.json中ENABLE_BINARY_PACKAGE为False。
    1. 修改CMakePresets.json中ENABLE_CROSS_COMPILE为True,使能交叉编译。
      "ENABLE_CROSS_COMPILE": {
          "type": "BOOL",
          "value": "True"
       }
    2. 修改CMakePresets.json中CMAKE_CROSS_PLATFORM_COMPILER为安装后的交叉编译工具路径。
      "CMAKE_CROSS_PLATFORM_COMPILER": {
          "type": "PATH",
          "value": "/usr/bin/aarch64-linux-gnu-g++"
      }
    3. 在算子工程目录下执行如下命令,进行算子工程交叉编译。

      ./build.sh

      编译成功后,会在当前目录下创建build_out目录,并在build_out目录下生成自定义算子安装包custom_opp_<target os>_<target architecture>.run

支持自定义编译选项

在算子工程中,如果开发者想要对算子kernel侧代码增加一些自定义的编译选项,比如:

  • 增加-D编译选项,用于在编译时定义宏:
    -Dname=definition
  • 增加-g -O0等调试用编译选项

可以参考如下内容进行编译选项的定制。

修改算子工程op_kernel目录下的CMakeLists.txt,使用add_ops_compile_options来增加编译选项,方法如下:

add_ops_compile_options(OpType COMPUTE_UNIT soc_version1 soc_version2 ... OPTIONS option1 option2 ...)

具体参数的介绍如下:

表3 具体参数介绍

参数名称

可选/必选

参数描述

算子类型

必选

第一个参数应传入算子类型,如果需要对算子工程中的所有算子生效,需要配置为ALL。

COMPUTE_UNIT

可选

标识编译选项在哪些AI处理器型号上生效,多个型号之间通过空格间隔。不配置时表示对所有AI处理器型号生效。

说明:

COMPUTE_UNIT具体配置如下:

在安装昇腾AI处理器的服务器执行npu-smi info命令进行查询,在查询到的“Name”前增加Ascend信息,例如“Name”对应取值为xxxyy,实际配置的<soc_version>值为Ascendxxxyy

OPTIONS

必选

自定义的编译选项。多个编译选项之间通过空格间隔。

  • 编译选项是基于“算子类型+AI处理器型号系列”进行配置的,也就是说不同的“算子类型+AI处理器型号系列”可以配置不同的编译选项。
    add_ops_compile_options(AddCustom COMPUTE_UNIT Ascendxxxyy ... OPTIONS -DNEW_MACRO1=xx)
    add_ops_compile_options(AddCustom COMPUTE_UNIT Ascendxxxyy ... OPTIONS -DNEW_MACRO2=xx)
    add_ops_compile_options(AddCustom COMPUTE_UNIT Ascendxxxyy ... OPTIONS -DNEW_MACRO3=xx)
  • 对相同算子类型+AI处理器型号系列,做多次编译选项配置,以后配置的为准。
  • 对ALL生效的编译选项和对单一算子生效的编译选项如果没有冲突,同时生效,如果有冲突,以单一算子的编译选项为准。
搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词