文档
注册

部署物理机开发环境

  • 当前支持在Ubuntu 20.04、CentOS 7系统中进行物理机开发环境部署。
  • 用户请勿修改编译目录下除run.sh文件外的其他文件代码。
  1. 参考CANN 软件安装指南安装CANN开发套件软件包和TensorFlow适配昇腾插件。
  2. 配置环境变量。

    CANN软件提供进程级环境变量设置脚本,供用户在进程中引用,以自动完成环境变量设置。用户进程结束后自动失效。

    可在程序启动的Shell脚本中使用如下命令设置CANN的相关环境变量,也可通过命令行执行如下命令(以root用户默认安装路径“/usr/local/Ascend”为例):

    source /usr/local/Ascend/ascend-toolkit/set_env.sh
    source /usr/local/Ascend/tfplugin/set_env.sh
  3. 通过如下命令解压软件包,若未指定具体路径,默认解压当前目录下,解压命令中需要添加--no-same-owner参数。
    # 解压到当前目录下
    tar -xf Ascend-mindxsdk-mxrec-{version}_linux-{arch}.tar.gz --no-same-owner
    # 解压到特定目录下
    tar -xf Ascend-mindxsdk-mxrec-{version}_linux-{arch}.tar.gz --no-same-owner -C 指定路径
  4. 解压完其目录结构参见如下。
    mindxsdk-mxrec/
    ├── cust_op                                    #动态扩容算子         
    │   └── cust_op_by_addr
    │       ├── emb_custom.json
    │       ├── op_host
    │       │   ├── embedding_lookup_by_address.cpp
    │       │   ├── embedding_lookup_by_address_tiling.h
    │       │   ├── embedding_update_by_address.cpp
    │       │   └── embedding_update_by_address_tiling.h
    │       ├── op_kernel
    │       │   ├── embedding_lookup_by_address.cpp
    │       │   └── embedding_update_by_address.cpp
    │       └── run.sh
    ├── tf1_whl
    │   └── mx_rec-{version}-py3-none-{arch}.whl      #适用于TensorFlow 1.15.0版本的mx_rec框架Wheel包
    ├── tf2_whl
    │   └── mx_rec-{version}-py3-none-{arch}.whl      #适用于TensorFlow 2.6.5版本的mx_rec框架Wheel包
    └── version.info                               #mxRec版本信息
  5. 安装软件包中的Wheel包。(请根据实际需求,选取对应TensorFlow版本匹配的Wheel包。)
    pip3 install mx_rec-{version}-py3-none-{arch}.whl 
    Wheel包默认安装在Python的“site-packages”路径,如通过“--target”参数指定目录,在安装完成后需要将mxRec路径加入“PYTHONPATH”环境变量。
    export PYTHONPATH={mxrec_install_path}:{mxrec_install_path}/mxRec:$PYTHONPATH
  6. 安装依赖,若未构建镜像,直接在物理机上进行开发,则须安装以下Python依赖。
    pip3.7 install numpy decorator sympy==1.4 cffi==1.12.3 pyyaml pathlib2 grpcio grpcio-tools protobuf==3.20.0 scipy requests mpi4py easydict scikit-learn==0.20.0 attrs
    horovod依赖安装前需配置“HOROVOD_WITH_MPI”“HOROVOD_WITH_TENSORFLOW”,依赖安装命令参考如下。
    HOROVOD_WITH_MPI=1 HOROVOD_WITH_TENSORFLOW=1 pip3.7 install horovod --no-cache-dir
  7. 可选:如需使用动态扩容功能,请参考本步骤编译安装动态扩容算子包。
    1. 进入已解压的mxRec软件包“mindxsdk-mxrec/cust_op/cust_op_by_addr”目录中。
    2. 参考以下命令编译并安装动态扩容算子包。
      bash run.sh
搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词