使用Dockerfile构建容器镜像（TensorFlow）

前提条件

请按照表1所示，获取对应操作系统的软件包与打包镜像所需Dockerfile文件与脚本文件。

深度学习引擎软件包及TensorFlow框架插件包名称中{version}表示版本号，{arch}表示架构。

表1 所需软件
软件包	说明	获取方法
Ascend-cann-nnae_{version}_linux-{arch}.run	深度学习引擎软件包。	获取链接
Ascend-cann-tfplugin_{version}_linux-{arch}.run	框架插件包。	获取链接
Arm：tensorflow-{version}-cp37-cp37m-linux_aarch64.whl x86_64：tensorflow_cpu-{version}-cp37-cp37m-manylinux2010_x86_64.whl	TensorFlow框架whl包。	Arm架构：TensorFlow2.6.5版本请参照TensorFlow编译教程编译对应whl包（numpy版本>=1.20.0）。TensorFlow1.15.0版本请下载TensorFlow1.15.0 ARM软件包。 x86_64架构：TensorFlow2.6.5版本请从pip源下载CPU版本：pip3 install tensorflow-cpu==2.6.5。TensorFlow1.15.0版本请下载TensorFlow1.15.0 X86软件包。
Dockerfile	制作镜像需要。	用户根据业务自行准备。
ascend_install.info	驱动安装信息文件。	从host拷贝“/etc/ascend_install.info”文件。
version.info	驱动版本信息文件。	从host拷贝“/usr/local/Ascend/driver/version.info”文件。
prebuild.sh	执行训练运行环境安装准备工作，例如配置代理等。	用户根据业务自行准备。
install_ascend_pkgs.sh	昇腾软件包安装脚本。
postbuild.sh	清除不需要保留在容器中的安装包、脚本、代理配置等。

为了防止软件包在传递过程或存储期间被恶意篡改，下载软件包时需下载对应的数字签名文件用于完整性验证。

在软件包下载之后，请参考《OpenPGP签名验证指南》，对从Support网站下载的软件包进行PGP数字签名校验。如果校验失败，请不要使用该软件包，先联系华为技术支持工程师解决。

使用软件包安装/升级之前，也需要按上述过程先验证软件包的数字签名，确保软件包未被篡改。

企业客户请访问：https://support.huawei.com/enterprise/zh/tool/pgp-verify-TL1000000054

本章节以Ubuntu操作系统为例。

操作步骤

将准备的软件包、深度学习框架、host侧驱动安装信息文件及驱动版本信息文件上传到服务器同一目录（如“/home/test”）。
- Ascend-cann-nnae_{version}_linux-{arch}.run
- Ascend-cann-tfplugin_{version}_linux-{arch}.run
- tensorflow-*_{arch}.whl
- ascend_install.info
- version.info
以root用户登录服务器。
执行以下步骤准备prebuild.sh文件。
1. 进入软件包所在目录，执行以下命令创建prebuild.sh文件。
```
vi prebuild.sh
```
2. 写入内容参见prebuild.sh编写示例，写入后执行:wq命令保存内容，内容以Ubuntu操作系统为例。
执行以下步骤准备install_ascend_pkgs.sh文件。
1. 进入软件包所在目录，执行以下命令创建install_ascend_pkgs.sh文件。
```
vi install_ascend_pkgs.sh
```
2. 写入内容参见install_ascend_pkgs.sh编写示例，写入后执行:wq命令保存内容，内容以Ubuntu操作系统为例。
执行以下步骤准备postbuild.sh文件。
1. 进入软件包所在目录，执行以下命令创建postbuild.sh文件。
```
vi postbuild.sh
```
2. 写入内容参见postbuild.sh编写示例，写入后执行:wq命令保存内容，内容以Ubuntu操作系统为例。
执行以下步骤准备Dockerfile文件。
1. 进入软件包所在目录，执行以下命令创建dockerfile文件（文件名示例“Dockerfile”）。
```
vi Dockerfile
```
2. 写入内容参见Dockerfile编写示例，写入后执行:wq命令保存内容，内容以Ubuntu操作系统为例。
  
  为获取镜像“ubuntu:18.04”，用户也可以通过执行docker pull ubuntu:18.04命令从Docker Hub拉取。

进入软件包所在目录，执行以下命令，构建容器镜像，注意不要遗漏命令结尾的“.”。

docker build -t 镜像名_系统架构:镜像tag .

例如：

docker build -t test_train_arm64:v1.0 .

命令解释如所表2示。

表2 命令参数说明
参数	说明
-t	指定镜像名称
镜像名_系统架构:镜像tag	镜像名称与标签，请用户根据实际情况写入

当出现“Successfully built xxx”表示镜像构建成功。

构建完成后，执行以下命令查看镜像信息。

docker images

显示示例。

REPOSITORY                TAG                 IMAGE ID            CREATED             SIZE
test_train_arm64          v1.0                d82746acd7f0        27 minutes ago      749MB

执行以下命令，进入容器。

docker run -it 镜像名_系统架构:镜像tag bash

例如：

docker run -it test_train_arm64:v1.0 bash

执行以下命令获取文件。

find /usr/local/ -name "freeze_graph.py"

回显示例如下：

/usr/local/lib/python3.7/dist-packages/tensorflow_core/python/tools/freeze_graph.py

执行以下命令修改镜像中的文件。

vi /usr/local/lib/python3.7/dist-packages/tensorflow_core/python/tools/freeze_graph.py

增加以下内容。

from npu_bridge.estimator import npu_ops
from npu_bridge.estimator.npu.npu_config import NPURunConfig
from npu_bridge.estimator.npu.npu_estimator import NPUEstimator
from npu_bridge.estimator.npu.npu_optimizer import allreduce
from npu_bridge.estimator.npu.npu_optimizer import NPUDistributedOptimizer
from npu_bridge.hccl import hccl_ops

执行:wq保存并退出编辑。

执行exit命令，退出Docker容器。

执行以下命令，保存当前镜像。

docker commit containerid 镜像名_系统架构:镜像tag

例如：

docker commit 032953231d61 test_train_arm64:v2.0

上述例子中，containerid为032953231d61。

编写示例

使用过程中请根据实际情况修改软件包版本及架构。

prebuild.sh编写示例。

Ubuntu Arm系统prebuild.sh编写示例。

#!/bin/bash
#--------------------------------------------------------------------------------
# 请在此处使用bash语法编写脚本代码，执行安装准备工作，例如配置代理等
# 本脚本将会在正式构建过程启动前被执行
#
# 注：本脚本运行结束后不会被自动清除，若无需保留在镜像中请在postbuild.sh脚本中清除
#--------------------------------------------------------------------------------
# dns设置，如果不需要，请删除
tee /etc/resolv.conf <<- EOF
nameserver xxx.xxx.xxx.xxx  #DNS服务器IP，可填写多个，根据实际配置。
nameserver xxx.xxx.xxx.xxx
nameserver xxx.xxx.xxx.xxx
EOF
# apt代理设置
tee /etc/apt/apt.conf.d/80proxy <<- EOF
Acquire::http::Proxy "http://xxx.xxx.xxx.xxx:xxx";  #http代理服务器IP地址及端口。
Acquire::https::Proxy "http://xxx.xxx.xxx.xxx:xxx";  #https代理服务器IP地址及端口。
EOF
chmod 777 -R /tmp
rm /var/lib/apt/lists/*
#apt源设置（以ubuntu 18.04 arm源为示例，请根据实际配置）
tee /etc/apt/sources.list <<- EOF
deb http://mirrors.aliyun.com/ubuntu-ports/ bionic main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu-ports/ bionic main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu-ports/ bionic-security main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu-ports/ bionic-security main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu-ports/ bionic-updates main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu-ports/ bionic-updates main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu-ports/ bionic-proposed main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu-ports/ bionic-proposed main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu-ports/ bionic-backports main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu-ports/ bionic-backports main restricted universe multiverse
EOF

Ubuntu x86_64系统prebuild.sh编写示例。

#!/bin/bash
#--------------------------------------------------------------------------------

# 请在此处使用bash语法编写脚本代码，执行安装准备工作，例如配置代理等
# 本脚本将会在正式构建过程启动前被执行
#
# 注：本脚本运行结束后不会被自动清除，若无需保留在镜像中请在postbuild.sh脚本中清除
#--------------------------------------------------------------------------------
# apt代理设置
tee /etc/apt/apt.conf.d/80proxy <<- EOF
Acquire::http::Proxy "http://xxx.xxx.xxx.xxx:xxx";    #http代理服务器IP地址及端口
Acquire::https::Proxy "http://xxx.xxx.xxx.xxx:xxx";   #https代理服务器IP地址及端口
EOF

#apt源设置（以ubuntu 18.04 x86_64源为示例，请根据实际配置）
tee /etc/apt/sources.list <<- EOF
deb http://mirrors.ustc.edu.cn/ubuntu/ bionic main multiverse restricted universe
deb http://mirrors.ustc.edu.cn/ubuntu/ bionic-backports main multiverse restricted universe
deb http://mirrors.ustc.edu.cn/ubuntu/ bionic-proposed main multiverse restricted universe
deb http://mirrors.ustc.edu.cn/ubuntu/ bionic-security main multiverse restricted universe
deb http://mirrors.ustc.edu.cn/ubuntu/ bionic-updates main multiverse restricted universe
deb-src http://mirrors.ustc.edu.cn/ubuntu/ bionic main multiverse restricted universe
deb-src http://mirrors.ustc.edu.cn/ubuntu/ bionic-backports main multiverse restricted universe
deb-src http://mirrors.ustc.edu.cn/ubuntu/ bionic-proposed main multiverse restricted universe
deb-src http://mirrors.ustc.edu.cn/ubuntu/ bionic-security main multiverse restricted universe
deb-src http://mirrors.ustc.edu.cn/ubuntu/ bionic-updates main multiverse restricted universe
EOF

install_ascend_pkgs.sh编写示例。

#!/bin/bash
#--------------------------------------------------------------------------------
# 请在此处使用bash语法编写脚本代码，安装昇腾软件包
#
# 注：本脚本运行结束后不会被自动清除，若无需保留在镜像中请在postbuild.sh脚本中清除
#--------------------------------------------------------------------------------
# 构建之前把host上的/etc/ascend_install.info拷贝一份到当前目录
cp ascend_install.info /etc/
# 构建之前把host的/usr/local/Ascend/driver/version.info拷贝一份到当前目录
mkdir -p /usr/local/Ascend/driver/
cp version.info /usr/local/Ascend/driver/
 
# Ascend-cann-nnae_{version}_linux-{arch}.run
chmod +x Ascend-cann-nnae_{version}_linux-{arch}.run
./Ascend-cann-nnae_{version}_linux-{arch}.run --install-path=/usr/local/Ascend/ --install --quiet
 
# Ascend-cann-tfplugin_{version}_linux-{arch}.run
chmod +x Ascend-cann-tfplugin_{version}_linux-{arch}.run
./Ascend-cann-tfplugin_{version}_linux-{arch}.run  --install --quiet
 
# 只为了安装nnae包，所以需要清理，容器启动时通过ascend docker挂载进来
rm -f version.info
rm -rf /usr/local/Ascend/driver/

如果在制作镜像时出现如下提示信息，则需要删除Ascend-cann-xxx.run后的--install-path参数（安装的第一个Ascend-cann-xxx.run除外）。

提示信息示例如下。

[TFPlugin] [20210316-02:39:37] [ERROR] /etc/Ascend/ascend_cann_install.info exists ! 'install-path' parameter are not supported.

出现原因如下。
安装第一个CANN软件包后，会将安装路径记录到/etc/Ascend/ascend_cann_install.info文件中。若该文件存在，则在安装其他CANN软件包时会自动安装到该文件中记录的路径下，同时不支持使用“--install-path”参数。

postbuild.sh编写示例（Ubuntu）。

#!/bin/bash
#--------------------------------------------------------------------------------
# 请在此处使用bash语法编写脚本代码，清除不需要保留在容器中的安装包、脚本、代理配置等
# 本脚本将会在正式构建过程结束后被执行
#
# 注：本脚本运行结束后会被自动清除，不会残留在镜像中；脚本所在位置和Working Dir位置为/root
#--------------------------------------------------------------------------------

rm -f ascend_install.info
rm -f prebuild.sh
rm -f install_ascend_pkgs.sh
rm -f Dockerfile
rm -f Ascend-cann-nnae_{version}_linux-{arch}.run
rm -f Ascend-cann-tfplugin_{version}_linux-{arch}.run
# Arm环境
rm -f tensorflow-1.15.0-cp37-cp37m-linux_{arch}.whl
# x86_64环境如果使用的是离线包安装，注释上一行，取消下一行注释
# rm -f tensorflow_cpu-1.15.0-cp37-cp37m-manylinux2010_x86_64.whl
rm -f /etc/apt/apt.conf.d/80proxy
 
# 如果不需要，请删除
tee /etc/resolv.conf <<- EOF
# This file is managed by man:systemd-resolved(8). Do not edit.
#
# This is a dynamic resolv.conf file for connecting local clients to the
# internal DNS stub resolver of systemd-resolved. This file lists all
# configured search domains.
#
# Run "systemd-resolve --status" to see details about the uplink DNS servers
# currently in use.
#
# Third party programs must not access this file directly, but only through the
# symlink at /etc/resolv.conf. To manage man:resolv.conf(5) in a different way,
# replace this symlink by a static file or a different symlink.
#
# See man:systemd-resolved.service(8) for details about the supported modes of
# operation for /etc/resolv.conf.
 
options edns0
 
nameserver xxx.xxx.xxx.xxx
nameserver xxx.xxx.xxx.xxx
EOF

Dockerfile编写示例。

Ubuntu Arm系统Dockerfile示例。

FROM ubuntu:18.04

ARG TF_PKG=tensorflow-1.15.0-cp37-cp37m-linux_aarch64.whl
ARG HOST_ASCEND_BASE=/usr/local/Ascend
ARG NNAE_PATH=/usr/local/Ascend/nnae/latest
ARG TF_PLUGIN_PATH=/usr/local/Ascend/tfplugin/latest
ARG INSTALL_ASCEND_PKGS_SH=install_ascend_pkgs.sh
ARG PREBUILD_SH=prebuild.sh
ARG POSTBUILD_SH=postbuild.sh
WORKDIR /tmp
COPY . ./

# 触发prebuild.sh
RUN bash -c "test -f $PREBUILD_SH && bash $PREBUILD_SH || true"

ENV http_proxy http://xxx.xxx.xxx.xxx:xxx
ENV https_proxy http://xxx.xxx.xxx.xxx:xxx

# 系统包
RUN apt update && \
    apt install --no-install-recommends \
        python3.7 python3.7-dev \
        curl g++ pkg-config unzip \
        libblas3 liblapack3 liblapack-dev \
        libblas-dev gfortran libhdf5-dev \
        libffi-dev libicu60 libxml2 -y

# 建立python软链接
RUN ln -s /usr/bin/python3.7 /usr/bin/python
# 配置python pip源
RUN mkdir -p ~/.pip \
&& echo '[global] \n\
index-url=https://pypi.doubanio.com/simple/\n\
trusted-host=pypi.doubanio.com' >> ~/.pip/pip.conf

# pip3.7
RUN curl -k https://bootstrap.pypa.io/get-pip.py -o get-pip.py && \
    cd /tmp && \
    apt-get download python3-distutils && \
    dpkg-deb -x python3-distutils_*.deb / && \
    rm python3-distutils_*.deb && \
    cd - && \
    python3.7 get-pip.py && \
    rm get-pip.py

# 创建HwHiAiUser用户和属主，uid和gid请与物理机保持一致避免出现无属主文件。示例中会自动创建user和对应的group，uid和gid都为1000
RUN useradd -d /home/HwHiAiUser -u 1000 -m -s /bin/bash HwHiAiUser

# Python包
RUN pip3.7 install numpy && \
    pip3.7 install decorator && \
    pip3.7 install sympy==1.4 && \
    pip3.7 install cffi && \
    pip3.7 install pyyaml && \
    pip3.7 install pathlib2 && \
    pip3.7 install grpcio && \
    pip3.7 install grpcio-tools && \
    pip3.7 install protobuf && \
    pip3.7 install scipy && \
    pip3.7 install requests && \
    pip3.7 install attrs && \
    pip3.7 install psutil && \
    pip3.7 install absl-py

# Ascend包
RUN umask 0022 && bash $INSTALL_ASCEND_PKGS_SH

RUN umask 0022 && pip3.7 install $TF_PKG

# 创建/lib64/ld-linux-aarch64.so.1
RUN umask 0022 && \
    if [ ! -d "/lib64" ]; \
    then \
        mkdir /lib64 && ln -sf /lib/ld-linux-aarch64.so.1 /lib64/ld-linux-aarch64.so.1; \
    fi

ENV http_proxy ""
ENV https_proxy ""

# 触发postbuild.sh
RUN bash -c "test -f $POSTBUILD_SH && bash $POSTBUILD_SH || true" && \
    rm $POSTBUILD_SH

Ubuntu x86_64系统Dockerfile示例。

FROM ubuntu:18.04
# 编译镜像时在线下载安装使用下面行，与下面的whl配置互斥
ARG TF_PKG=tensorflow-cpu==1.15.0
# 使用离线的x86_64的tensorflow包，注释上面行，取消下面行的注释
#ARG TF_PKG=tensorflow_cpu-1.15.0-cp37-cp37m-manylinux2010_x86_64.whl
ARG HOST_ASCEND_BASE=/usr/local/Ascend
ARG NNAE_PATH=/usr/local/Ascend/nnae/latest
ARG TF_PLUGIN_PATH=/usr/local/Ascend/tfplugin/latest
ARG INSTALL_ASCEND_PKGS_SH=install_ascend_pkgs.sh
ARG PREBUILD_SH=prebuild.sh
ARG POSTBUILD_SH=postbuild.sh
WORKDIR /tmp
COPY . ./

# 触发prebuild.sh
RUN bash -c "test -f $PREBUILD_SH && bash $PREBUILD_SH || true"

ENV http_proxy http://xxx.xxx.xxx.xxx:xxx
ENV https_proxy http://xxx.xxx.xxx.xxx:xxx

# 系统包
RUN apt update && \
    apt install --no-install-recommends \
        python3.7 python3.7-dev \
        curl g++ pkg-config unzip \
        libblas3 liblapack3 liblapack-dev \
        libblas-dev gfortran libhdf5-dev \
        libffi-dev libicu60 libxml2 -y

# 建立Python软链接
RUN ln -s /usr/bin/python3.7 /usr/bin/python

# 配置Python pip源
RUN mkdir -p ~/.pip \
&& echo '[global] \n\
index-url=https://pypi.doubanio.com/simple/\n\
trusted-host=pypi.doubanio.com' >> ~/.pip/pip.conf

# pip3.7
RUN curl -k https://bootstrap.pypa.io/get-pip.py -o get-pip.py && \
    cd /tmp && \
    apt-get download python3-distutils && \
    dpkg-deb -x python3-distutils_*.deb / && \
    rm python3-distutils_*.deb && \
    cd - && \
    python3.7 get-pip.py && \
    rm get-pip.py

# 创建HwHiAiUser用户和属主，uid和gid请与物理机保持一致避免出现无属主文件。示例中会自动创建user和对应的group，uid和gid都为1000
RUN useradd -d /home/HwHiAiUser -u 1000 -m -s /bin/bash HwHiAiUser

# Python包
RUN pip3.7 install numpy && \
    pip3.7 install decorator && \
    pip3.7 install sympy==1.4 && \
    pip3.7 install cffi==1.12.3 && \
    pip3.7 install pyyaml && \
    pip3.7 install pathlib2 && \
    pip3.7 install grpcio && \
    pip3.7 install grpcio-tools && \
    pip3.7 install protobuf && \
    pip3.7 install scipy && \
    pip3.7 install requests && \
    pip3.7 install attrs && \
    pip3.7 install psutil && \
    pip3.7 install absl-py

# Ascend包
RUN umask 0022 && bash $INSTALL_ASCEND_PKGS_SH

RUN pip3.7 install $TF_PKG

ENV http_proxy ""
ENV https_proxy ""

# 触发postbuild.sh
RUN bash -c "test -f $POSTBUILD_SH && bash $POSTBUILD_SH || true" && \
    rm $POSTBUILD_SH

父主题： 常用操作