安装ATB Models

前提条件

已获取ATB Models软件包。

操作步骤

1. 单击ATB Models后方的“下载”按钮，弹出MindIE镜像获取页面。
2. 在MindIE镜像页面的“镜像版本”页签申请权限（使用华为账号登录，如果没有请先注册），申请通过后，根据用户环境单击对应架构后方的“立即下载”按钮下载MindIE镜像。ATB Models软件包存在于MindIE镜像包的/opt/package目录中。
3. 使用以下命令在环境上新建解压目录（例如：/home/{用户名}/Package）。

   mkdir /home/{用户名}/Package

4. 使用以下命令赋予该路径读写权限。

   chmod u+rw /home/{用户名}/Package

5. 将获取的ATB Models软件包Ascend-mindie-atb-models_{version}_linux-{arch}_pyxxx_torchx.x.x-{abi}.tar.gz上传至该目录。
6. 使用以下命令进入软件包所在路径并解压软件包，解压后包含的文件如表1所示。

   cd /home/{用户名}/Package
   tar -zxf Ascend-mindie-atb-models_{version}_linux-{arch}_pyxxx_torchx.x.x-{abi}.tar.gz

   

   如何选择ATB Models不同abi版本的软件包：

   ATB Models的abi版本需要根据环境中安装的PyTorch环境来选择，其版本需要与PyTorch编译时使用的abi版本保持一致；调用torch.compiled_with_cxx11_abi()接口可以查看使用的abi版本，如果返回False，则选择abi=0；如果返回True，则选择abi=1。

   表1 文件清单

   目录	文件	说明
   atb_llm	models	atb_llm源代码。
   	runner
   	utils
   	common_op_builders
   -	atb_llm-{version}-py3-none-any.whl	atb_llm安装包。
   examples	__init__.py	示例工程目录。
   	convert
   	models
   	server
   	input.jsonl
   	run_fa.py
   	run_pa.py
   	README.md
   lib	libatb_speed_core.so	依赖的so文件。
   	libatb_speed_models.so
   	libatb_speed_operations.so
   	libatb_speed_torch.so
   	libatb_torch.so
   requirements	models	requirements源代码。
   	requirements.txt
   tests	modeltest	测试工具源代码。
   -	set_env.sh	环境变量配置文件。
   -	setup.py	打包文件。
   -	version.info	版本信息。
   -	public_address_statement.md	公网地址声明。
   -	README.md	说明信息。

7. 检查pip包安装路径权限。

   为避免whl包安装成功后，在使用中出现“module not found”错误。使用pip安装whl包时，需要保证当前用户对pip包安装位置拥有写权限，pip包安装路径可以通过pip show {已存在包的包名}方式获得。

8. 使用以下命令在Python环境中安装atb_llm的Python包。

   pip3 install atb_llm-{version}-py3-none-any.whl

配置环境变量

当前提供进程级环境变量设置脚本，供用户在进程中引用，以自动完成环境变量设置。用户进程结束后自动失效。示例如下（以root用户默认安装路径为例）：

source /home/{用户名}/Package/set_env.sh