安装步骤(openEuler 22.03)

检查源

安装过程需要下载相关依赖,请确保安装环境能够连接网络。

请在root用户下执行如下命令检查源是否可用。

yum makecache

如果命令执行报错或者后续安装依赖时等待时间过长甚至报错,则检查网络是否连接或者把"/etc/yum.repos.d/xxxx.repo"文件中的源更换为可用的源或使用镜像源(以配置华为镜像源为例,可参考华为开源镜像站)。

如果执行上述命令提示“Your license is invalid”,请获取OS授权license。

检查root用户的umask

  1. 以root用户登录安装环境。

  2. 检查root用户的umask值。

    umask
  3. 如果umask不等于0022,请执行如下操作配置,在该文件的最后一行添加umask 0022后保存。

    1. 在任意目录下执行如下命令,打开.bashrc文件:
      vi ~/.bashrc 

      在文件最后一行后面添加umask 0022内容。

    2. 执行:wq!命令保存文件并退出。
    3. 执行source ~/.bashrc命令使其立即生效。

依赖安装完成后,请用户恢复为原umask值(删除.bashrc文件中umask 0022一行)。基于安全考虑,建议用户将umask值改为0027。

配置安装用户权限

可使用root或非root用户(该非root用户需与软件包安装用户保持一致)安装依赖,如果使用非root用户安装,可能需要用到提权命令,请用户自行获取所需的sudo权限。使用完成后请取消涉及高危命令的权限,否则有sudo提权风险。

配置最大线程数

训练场景下,不同OS的最大线程数可能不满足训练要求,需执行以下命令修改最大线程数为无限制。

  1. 以root用户登录安装环境。
  2. 配置环境变量,修改线程数为无限制,编辑“/etc/profile”文件,在文件的最后添加如下内容后保存退出:
    ulimit -u unlimited
  3. 执行如下命令使环境变量生效。
    source /etc/profile

安装依赖

  1. 检查系统是否安装python依赖以及gcc等软件。

    分别使用如下命令检查是否安装gcc,make以及python依赖软件等。
    gcc --version
    g++ --version
    make --version
    cmake --version
    rpm -qa |grep unzip
    rpm -qa |grep zlib-devel
    rpm -qa |grep libffi-devel
    rpm -qa |grep openssl-devel
    rpm -qa |grep pciutils
    rpm -qa |grep net-tools
    rpm -qa |grep sqlite-devel
    rpm -qa |grep lapack-devel
    rpm -qa |grep gcc-gfortran
    rpm -qa |grep python3-devel

    若分别返回如下信息则说明已经安装,进入下一步(以下回显仅为示例,版本要求请以依赖列表为准)。

    gcc (GCC) 10.3.1
    g++ (GCC) 10.3.1
    GNU Make 4.3
    cmake version 3.22.0
    unzip-6.0-45.oe1.aarch64
    zlib-devel-1.2.11-22.oe1.aarch64
    libffi-devel-3.4.2-2.oe2203.aarch64
    openssl-devel-1.1.1m-18.oe2203.aarch64
    pciutils-3.7.0-2.oe2203.aarch64
    net-tools-2.10-3.oe2203.aarch64  
    sqlite-devel-3.24.0-9.oe1.aarch64
    lapack-devel-3.8.0-16.oe1.aarch64
    gcc-gfortran-7.3.0-20190804.h31.oe1.aarch64
    python3-devel-3.7.4-8.oe1.aarch64
    否则请执行如下安装命令(如果只有部分软件未安装,则如下命令修改为还未安装的软件即可):
    • 如果使用root用户安装依赖,请将步骤1至步骤2命令中的sudo删除。
    • 如果python及其依赖是使用非root用户安装,则需要执行su - username命令切换到非root用户继续执行步骤1至步骤3
    • sqlite-devel需要在python安装之前安装,如果用户操作系统已经安装满足版本要求的python环境,在此之后再安装sqlite-devel,则需要重新编译python环境。
    sudo yum install -y gcc gcc-c++ make cmake unzip zlib-devel libffi-devel openssl-devel pciutils net-tools sqlite-devel lapack-devel gcc-gfortran python3-devel

    如果通过上述方式安装的cmake版本低于3.5.1,则请参见安装3.5.2版本cmake解决。

  2. 检查系统是否安装满足版本要求的python开发环境,具体要求请参见依赖列表

    执行如下命令,如果返回信息满足python版本要求,则直接进入下一步,否则可参考编译安装Python3.7.5

    python3 --version
    pip3 --version

  3. 安装前请先使用pip3 list命令检查是否安装相关依赖,若已经安装,则请跳过该步骤;若未安装,则安装命令如下(如果只有部分软件未安装,则如下命令修改为只安装还未安装的软件即可)。

    • 请在安装前配置好pip源,具体可参考配置pip源
    • 安装前,建议执行命令pip3 install --upgrade pip进行升级,避免因pip版本过低导致安装失败。
    • 如下命令如果使用非root用户安装,需要在安装命令后加上--user,例如:pip3 install attrs --user,安装命令可在任意路径下执行。
    pip3 install attrs
    pip3 install numpy
    pip3 install decorator
    pip3 install sympy
    pip3 install cffi
    pip3 install pyyaml
    pip3 install pathlib2
    pip3 install psutil
    pip3 install protobuf
    pip3 install scipy
    pip3 install requests
    pip3 install absl-py

  4. 如果仅需支持离线推理,请跳过此步骤。

    CentOS7.6系统使用软件源默认安装的gcc版本为4.8.5,因此需要安装7.3.0版本gcc,安装过程请参见安装7.3.0版本gcc

依赖安装完成后,请用户恢复为原umask值(参考检查root用户的umask,删除.bashrc文件中umask 0022一行)。基于安全考虑,建议用户将umask值改为0027。