部署物理机开发环境
当前支持在Ubuntu 20.04、CentOS 7系统中进行物理机开发环境部署。
- 参考《CANN 软件安装指南》安装CANN开发套件软件包和TensorFlow适配昇腾插件。
- 配置环境变量。
CANN软件提供进程级环境变量设置脚本,供用户在进程中引用,以自动完成环境变量设置。用户进程结束后自动失效。
可在程序启动的Shell脚本中使用如下命令设置CANN的相关环境变量,也可通过命令行执行如下命令(以root用户默认安装路径“/usr/local/Ascend”为例):
source /usr/local/Ascend/ascend-toolkit/set_env.sh source /usr/local/Ascend/tfplugin/set_env.sh
- 通过如下命令解压软件包,若未指定具体路径,默认解压当前目录下,解压命令中需要添加--no-same-owner参数。
# 解压到当前目录下 tar -xf Ascend-mindxsdk-mxrec-{version}_linux-{arch}.tar.gz --no-same-owner # 解压到特定目录下 tar -xf Ascend-mindxsdk-mxrec-{version}_linux-{arch}.tar.gz --no-same-owner -C target_dir
- 解压完其目录结构参见如下。
mindxsdk-mxrec/ ├── cust_op #动态扩容算子 │ └── cust_op_by_addr │ ├── emb_custom.json │ ├── op_host │ │ ├── embedding_lookup_by_address.cpp │ │ ├── embedding_lookup_by_address_tiling.h │ │ ├── embedding_update_by_address.cpp │ │ └── embedding_update_by_address_tiling.h │ ├── op_kernel │ │ ├── embedding_lookup_by_address.cpp │ │ └── embedding_update_by_address.cpp │ └── run.sh ├── tf1_whl │ └── mx_rec-{version}-py3-none-{arch}.whl #适用于TensorFlow 1.15.0版本的mx_rec框架Wheel包 ├── tf2_whl │ └── mx_rec-{version}-py3-none-{arch}.whl #适用于TensorFlow 2.6.5版本的mx_rec框架Wheel包 └── version.info #mxRec版本信息
- 安装软件包中的Wheel包。(请根据实际需求,选取对应TensorFlow版本匹配的Wheel包。)
pip install mx_rec-{version}-py3-none-{arch}.whl
Wheel包默认安装在Python的“site-packges”路径,如通过“--target”参数指定目录,在安装完成后需要将mxRec路径加入“PYTHONPATH”环境变量。export PYTHONPATH={mxrec_install_path}:{mxrec_install_path}/mxRec:$PYTHONPATH
- 安装依赖,若未构建镜像,直接在物理机上进行开发,则须安装以下Python依赖。
pip3.7 install numpy decorator sympy==1.4 cffi==1.12.3 pyyaml pathlib2 grpcio grpcio-tools protobuf==3.20.0 scipy requests mpi4py easydict scikit-learn==0.20.0 attrs
- horovod依赖安装前需配置“HOROVOD_WITH_MPI”、“HOROVOD_WITH_TENSORFLOW”,依赖安装命令参考如下。
HOROVOD_WITH_MPI=1 HOROVOD_WITH_TENSORFLOW=1 pip3.7 install horovod --no-cache-dir
- mxRec软件包中“example”目录下“little_demo”样例需在TensorFlow 1.15.0或TensorFlow 2.6.5环境下运行,安装命令参考如下。
- TensorFlow 1.15.0请参考:
pip3.7 install tensorflow==1.15.0
- TensorFlow 2.6.5请参考:
pip3.7 install tensorflow==2.6.5
- TensorFlow 1.15.0请参考:
- horovod依赖安装前需配置“HOROVOD_WITH_MPI”、“HOROVOD_WITH_TENSORFLOW”,依赖安装命令参考如下。
- 可选:如需使用动态扩容功能,请参考本步骤编译安装动态扩容算子包。
- 进入已解压的mxRec软件包“mindxsdk-mxrec/cust_op/cust_op_by_addr”目录中。
- 参考以下命令编译动态扩容算子包。
bash run.sh
- 编译完成后,将在当前目录(“mindxsdk-mxrec/cust_op/cust_op_by_addr”)下生成“custom_op”算子包文件夹。
- 进入算子包文件夹(“mindxsdk-mxrec/cust_op/cust_op_by_addr/custom_op/build_out”),参考以下命令执行“custom_opp_centos_{arch}.run”。
bash custom_opp_centos_{arch}.run
父主题: 安装部署