安装ATB Models

前提条件

请单击链接进入ATB Models软件包获取页面。

操作步骤

1. 单击ATB Models后方的“下载”按钮，弹出MindIE镜像获取页面。
2. 在MindIE镜像页面的“镜像版本”页签申请权限（使用华为账号登录，如果没有请先注册），申请通过后，根据用户环境单击对应架构后方的“立即下载”按钮下载MindIE镜像。ATB Models软件包存在于MindIE镜像包的/opt/package目录中。
3. 将获取的ATB Models软件包Ascend-mindie-atb-models_{version}_linux-{arch}_{torch-version}-{abi}.tar.gz上传至环境任意路径下（例如：/home/Package），且该路径拥有读写权限。
4. 使用以下命令进入软件包所在路径并解压软件包，解压后包含的文件如表1所示。

   cd /home/Package
   tar -zxf Ascend-mindie-atb-models_{version}_linux-{arch}_{torch-version}-{abi}.tar.gz

   表1 文件清单

   目录	文件	说明
   atb_llm	models	atb_llm源代码。
   	runner
   	utils
   	common_op_builders
   -	atb_llm-{version}-py3-none-any.whl	atb_llm安装包。
   examples	__init__.py	示例工程目录。
   	convert
   	models
   	server
   	input.jsonl
   	run_fa.py
   	run_pa.py
   	README.md
   lib	libatb_speed_core.so	依赖的so文件。
   	libatb_speed_models.so
   	libatb_speed_operations.so
   	libatb_speed_torch.so
   	libatb_torch.so
   requirements	models	requirements源代码。
   	requirements.txt
   tests	modeltest	测试工具源代码。
   -	set_env.sh	环境变量配置文件。
   -	setup.py	打包文件。
   -	version.info	版本信息。
   -	public_address_statement.md	公网地址声明。
   -	README.md	说明信息。

5. 使用以下命令在Python环境中安装atb_llm的Python包。

   pip3 install atb_llm-{version}-py3-none-any.whl 

   

   为避免whl包安装成功后，在使用中出现“module not found”错误。使用pip安装whl包时，需要保证当前用户对pip包安装位置拥有写权限，pip包安装路径可以通过pip show {已存在包的包名}方式获得。

配置环境变量

当前提供进程级环境变量设置脚本，供用户在进程中引用，以自动完成环境变量设置。用户进程结束后自动失效。示例如下（以root用户默认安装路径为例）：

source /usr/local/Ascend/llm_model/set_env.sh