---

license: mit pipeline_tag: multi-modal hardwares: - NPU frameworks: - PyTorch library_name: openmind language: - en

一、准备运行环境

表 1 版本配套表

配套	版本	环境准备指导
Python	3.10.2	-
torch	2.1.0/2.5.1	-

1.1 获取CANN&MindIE安装包&环境准备

• 800I A2 && 300I DUO
• 环境准备指导

1.2 CANN安装

# 增加软件包可执行权限，{version}表示软件版本号，{arch}表示CPU架构，{soc}表示昇腾AI处理器的版本。
chmod +x ./Ascend-cann-toolkit_{version}_linux-{arch}.run
chmod +x ./Ascend-cann-kernels-{soc}_{version}_linux.run
# 校验软件包安装文件的一致性和完整性
./Ascend-cann-toolkit_{version}_linux-{arch}.run --check
./Ascend-cann-kernels-{soc}_{version}_linux.run --check
# 安装
./Ascend-cann-toolkit_{version}_linux-{arch}.run --install
./Ascend-cann-kernels-{soc}_{version}_linux.run --install

# 设置环境变量
source /usr/local/Ascend/ascend-toolkit/set_env.sh

1.3 MindIE安装

# 增加软件包可执行权限，{version}表示软件版本号，{arch}表示CPU架构。
chmod +x ./Ascend-mindie_${version}_linux-${arch}.run
./Ascend-mindie_${version}_linux-${arch}.run --check

# 方式一：默认路径安装
./Ascend-mindie_${version}_linux-${arch}.run --install
# 设置环境变量
cd /usr/local/Ascend/mindie && source set_env.sh

# 方式二：指定路径安装
./Ascend-mindie_${version}_linux-${arch}.run --install-path=${AieInstallPath}
# 设置环境变量
cd ${AieInstallPath}/mindie && source set_env.sh

1.4 Torch_npu安装

下载 pytorch_v{pytorchversion}_py{pythonversion}.tar.gz

tar -xzvf pytorch_v{pytorchversion}_py{pythonversion}.tar.gz
# 解压后，会有whl包
pip install torch_npu-{pytorchversion}.xxxx.{arch}.whl

二、执行推理

2.1 下载权重

Huggingface

Model	Sequence Length	Download
Janus-Pro-1B	4096	🤗 Hugging Face
Janus-Pro-7B	4096	🤗 Hugging Face

2.2 下载模型依赖

pip install -e .

2.3 执行推理脚本

2.3.1 多模态理解

python inference.py --path './deepseek-ai/Janus-Pro' --device_id 0 --type bf16

2.3.2 多模态生成

python generation_inference.py --path './deepseek-ai/Janus-Pro' --device_id 0 --type bf16

2.3.3 命令行参数说明

--device_id 指定npu运行设备
--type 可指定bf16或fp16，300I Duo/300I Pro设备只支持fp16
--path 指定模型路径