在容器中安装MindIO SDK
对接Torch使用MindIO SDK,加速Torch训练CheckPoint save和load操作。
容器的镜像制作、镜像部署、镜像安全加固等由使用者完成,环境中以Python 3.7为例。
- 使用<MindIO-install-user>解压3获取到的Ascend-mindxdl-mindio软件安装包:Ascend-mindxdl-mindio_{version}_linux-{arch}.tar,得到一个mindio目录。
tar -xvf Ascend-mindxdl-mindio_{version}_linux-{arch}.tar
表1 解压后内层目录结构 文件名
说明
libbdm.so
MindIO服务依赖动态库
libhse_authorization.so
libhse_cryption.so
libsecurec.so
memfs.conf
MindIO配置文件
ockiod
MindIO二进制文件
scripts
安装相关脚本目录
seceasy_encrypt
安全加密工具
torch_mindio-1.0.0-cp37-cp37m-linux_{arch}.whl
MindIO SDK
torch_mindio-1.0.0-cp38-cp38m-linux_{arch}.whl
torch_mindio-1.0.0-cp39-cp39m-linux_{arch}.whl
torch_mindio-1.0.0-cp310-cp310m-linux_{arch}.whl
- 删除mindio目录下除了whl包之外的全部文件和目录。
rm -f mindio/*.so rm -f mindio/memfs.conf rm -f mindio/ockiod rm -f mindio/seceasy_encrypt rm -rf mindio/scripts
- 设置mindio目录和内部whl文件权限。
chmod 0500 mindio chmod 0400 mindio/*.whl
- 进入mindio目录,将torch_mindio-1.0.0-cp37-cp37m-linux_{arch}.whl上传至目标容器的任意路径下。
cd mindio
- 以容器管理用户登录并进入目标容器。
- 进入上传路径,执行以下命令,安装MindIO SDK。
pip3 install torch_mindio-1.0.0-cp37-cp37m-linux_{arch}.whl --force-reinstall
- 首次安装MindIO SDK回显如下,表示安装成功。
Processing ./torch_mindio-1.0.0-cp37-cp37m-linux_{arch}.whl Installing collected packages: torch-mindio Successfully installed torch-mindio-1.0.0
- 非首次安装MindIO SDK回显如下,表示安装成功。
Processing ./torch_mindio-1.0.0-cp37-cp37m-linux_{arch}.whl Installing collected packages: torch-mindio Found existing installation: torch-mindio 1.0.0 Uninstalling torch-mindio-1.0.0: Successfully uninstalled torch-mindio-1.0.0 Successfully installed torch-mindio-1.0.0
- 首次安装MindIO SDK回显如下,表示安装成功。
- (可选)建议用户修改wheel包安装路径的权限为0550,如果权限过高可能存在安全风险。
- 安装完成后,删除wheel包和Ascend-mindxdl-mindio软件安装包。
父主题: 安装MindIO