MindIE支持模型列表

以下模型需配合ATB Models模型库使用，ATB Models的安装方式请参见《MindIE安装指南》中的“安装开发环境 > 安装ATB Models”章节。

MindIE支持的模型列表如表1所示。

表1 模型列表
模型名称	多卡能力	数据类型	量化	服务化	长序列	非首token的推理方式 FA（Flash Attention） PA（Paged Attention）
Baichuan-7B	Atlas 800I A2推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为2。	FP16：支持 BF16：不支持	不支持	MindIE Service：支持 TGI：不支持	不支持	FA：支持 PA：支持
Baichuan-13B	Atlas 800I A2推理产品：支持的卡数为2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为2。	FP16：支持 BF16：不支持	不支持	MindIE Service：支持 TGI：不支持	不支持	FA：支持 PA：支持
Baichuan2-7B	Atlas 800I A2推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为2。	FP16：支持 BF16：不支持	W8A8量化：仅Atlas 800I A2推理产品支持	MindIE Service：支持 TGI：支持	不支持	FA：支持 PA：支持
Baichuan2-13B	Atlas 800I A2推理产品：支持的卡数为2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为2。	FP16：支持 BF16：不支持	W8A8量化：仅Atlas 800I A2推理产品支持	MindIE Service：支持 TGI：支持	不支持	FA：支持 PA：支持
Bloom-176B	Atlas 800I A2推理产品：支持的卡数为8。 Atlas 300I Duo 推理卡：不支持。	FP16：支持 BF16：不支持	W8A16量化：仅Atlas 800I A2推理产品支持	MindIE Service：不支持 TGI：不支持	不支持	FA：不支持 PA：支持
Bloom-7B	Atlas 800I A2推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1或2。	FP16：支持 BF16：不支持	不支持	MindIE Service：不支持 TGI：不支持	不支持	FA：不支持 PA：支持
Bloomz-7B	Atlas 800I A2推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1或2。	FP16：支持 BF16：不支持	不支持	MindIE Service：不支持 TGI：不支持	不支持	FA：不支持 PA：支持
ChatGLM2-6B	Atlas 800I A2推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1或2。	FP16：支持 BF16：不支持	W8A8量化：仅Atlas 800I A2推理产品支持稀疏量化：仅Atlas 300I Duo 推理卡支持	MindIE Service：支持 TGI：支持	不支持	FA：不支持 PA：支持
ChatGLM3-6B-32K	Atlas 800I A2推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1或2。	FP16：支持 BF16：不支持	不支持	MindIE Service：支持 TGI：不支持	不支持	FA：不支持 PA：支持
CodeGeeX2-6B	Atlas 800I A2推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1或2。	FP16：支持 BF16：不支持	W8A8量化：仅Atlas 800I A2推理产品支持	MindIE Service：支持 TGI：支持	不支持	FA：不支持 PA：支持
CodeLLaMA-13B	Atlas 800I A2推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：不支持。	FP16：支持 BF16：仅Atlas 800I A2推理产品支持	不支持	MindIE Service：支持 TGI：不支持	不支持	FA：不支持 PA：支持
CodeLLaMA-34B	Atlas 800I A2推理产品：支持的卡数为4或8。 Atlas 300I Duo 推理卡：支持的卡数为2。	FP16：支持 BF16：仅Atlas 800I A2推理产品支持	W8A8量化：仅Atlas 800I A2推理产品支持稀疏量化：仅Atlas 300I Duo 推理卡支持	MindIE Service：支持 TGI：不支持	不支持	FA：不支持 PA：支持
CodeLLaMA-70B	Atlas 800I A2推理产品：支持的卡数为4或8。 Atlas 300I Duo 推理卡：不支持。	FP16：支持 BF16：仅Atlas 800I A2推理产品支持	不支持	MindIE Service：不支持 TGI：不支持	不支持	FA：不支持 PA：支持
CodeShell-7B	Atlas 800I A2推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1。	FP16：支持 BF16：不支持	不支持	MindIE Service：不支持 TGI：不支持	不支持	FA：不支持 PA：支持
DeepSeek-Coder-6.7B	Atlas 800I A2推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为2。	FP16：支持 BF16：仅Atlas 800I A2推理产品支持	不支持	MindIE Service：不支持 TGI：不支持	不支持	FA：支持 PA：支持
DeepSeek-Coder-7B	Atlas 800I A2推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为2。	FP16：支持 BF16：仅Atlas 800I A2推理产品支持	不支持	MindIE Service：不支持 TGI：不支持	不支持	FA：支持 PA：支持
DeepSeek-Coder-33B	Atlas 800I A2推理产品：支持的卡数为4或8。 Atlas 300I Duo 推理卡：不支持。	FP16：不支持 BF16：仅Atlas 800I A2推理产品支持	不支持	MindIE Service：不支持 TGI：不支持	不支持	FA：支持 PA：支持
DeepSeek-MoE-16B	Atlas 800I A2推理产品：支持的卡数为4或8。 Atlas 300I Duo 推理卡：不支持。	FP16：支持 BF16：不支持	不支持	MindIE Service：支持 TGI：不支持	不支持	FA：支持 PA：支持
Gemma-7B	Atlas 800I A2推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为2。	FP16：支持 BF16：仅Atlas 800I A2推理产品支持	W8A8量化：仅Atlas 800I A2推理产品支持	MindIE Service：不支持 TGI：不支持	不支持	FA：不支持 PA：支持
InterLM-20B	Atlas 800I A2推理产品：支持的卡数为2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为2。	FP16：支持 BF16：不支持	不支持	MindIE Service：支持 TGI：不支持	不支持	FA：不支持 PA：支持
InternLM2-20B	Atlas 800I A2推理产品：支持的卡数为2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为2。	FP16：支持 BF16：不支持	不支持	MindIE Service：不支持 TGI：不支持	支持	FA：不支持 PA：支持
LLaMa2-7B	Atlas 800I A2推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为2。	FP16：支持 BF16：仅Atlas 800I A2推理产品支持	W8A8量化：仅Atlas 800I A2推理产品支持稀疏量化：仅Atlas 300I Duo 推理卡支持	MindIE Service：支持 TGI：支持	不支持	FA：支持 PA：支持
LLaMa2-13B	Atlas 800I A2推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为2。	FP16：支持 BF16：仅Atlas 800I A2推理产品支持	W8A8量化：仅Atlas 800I A2推理产品支持稀疏量化：仅Atlas 300I Duo 推理卡支持	MindIE Service：支持 TGI：支持	不支持	FA：支持 PA：支持
LLaMa2-70B	Atlas 800I A2推理产品：支持的卡数为8。 Atlas 300I Duo 推理卡：不支持。	FP16：支持 BF16：仅Atlas 800I A2推理产品支持	W8A8量化：仅Atlas 800I A2推理产品支持 W8A16量化：仅Atlas 800I A2推理产品支持	MindIE Service：支持 TGI：支持	不支持	FA：支持 PA：支持
LLaMA-33B	Atlas 800I A2推理产品：支持的卡数为2或8。 Atlas 300I Duo 推理卡：支持的卡数为2。	FP16：支持 BF16：仅Atlas 800I A2推理产品支持	稀疏量化：仅Atlas 300I Duo 推理卡支持	MindIE Service：支持 TGI：不支持	不支持	FA：支持 PA：支持
LLaMA3-8B	Atlas 800I A2推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为2。	FP16：支持 BF16：仅Atlas 800I A2推理产品支持	不支持	MindIE Service：支持 TGI：不支持	不支持	FA：支持 PA：支持
LLaMA3-70B	Atlas 800I A2推理产品：支持的卡数为8。 Atlas 300I Duo 推理卡：不支持。	FP16：支持 BF16：仅Atlas 800I A2推理产品支持	W8A16量化：仅Atlas 800I A2推理产品支持	MindIE Service：支持 TGI：不支持	支持	FA：支持 PA：支持
LLaMA-65B	Atlas 800I A2推理产品：支持的卡数为8。 Atlas 300I Duo 推理卡：不支持。	FP16：支持 BF16：仅Atlas 800I A2推理产品支持	W8A16量化：仅Atlas 800I A2推理产品支持	MindIE Service：支持 TGI：不支持	不支持	FA：支持 PA：支持
Mistral-7B	Atlas 800I A2推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1或2。	FP16：支持 BF16：不支持	不支持	MindIE Service：不支持 TGI：不支持	不支持	FA：不支持 PA：支持
Mixtral-8x7B	Atlas 800I A2推理产品：支持的卡数为8。 Atlas 300I Duo 推理卡：不支持。	FP16：支持 BF16：不支持	不支持	MindIE Service：不支持 TGI：不支持	不支持	FA：支持 PA：支持
Qwen-7B	Atlas 800I A2推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1。	FP16：支持 BF16：不支持	W8A8量化：仅Atlas 800I A2推理产品支持	MindIE Service：支持 TGI：不支持	不支持	FA：支持 PA：支持
Qwen-14B	Atlas 800I A2推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1或2。	FP16：支持 BF16：不支持	W8A8量化：仅Atlas 800I A2推理产品支持	MindIE Service：支持 TGI：不支持	不支持	FA：支持 PA：支持
Qwen-72B	Atlas 800I A2推理产品：支持的卡数为8。 Atlas 300I Duo 推理卡：不支持。	FP16：支持 BF16：不支持	W8A16量化：仅Atlas 800I A2推理产品支持	MindIE Service：支持 TGI：不支持	不支持	FA：支持 PA：支持
Qwen1.5-7B	Atlas 800I A2推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1。	FP16：支持 BF16：不支持	不支持	MindIE Service：支持 TGI：不支持	支持	FA：支持 PA：支持
Qwen1.5-14B	Atlas 800I A2推理产品：支持的卡数为2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1或2。	FP16：支持 BF16：不支持	W8A8量化：仅Atlas 800I A2推理产品支持稀疏量化：仅Atlas 300I Duo 推理卡支持	MindIE Service：支持 TGI：不支持	支持	FA：支持 PA：支持
Qwen1.5-32B	Atlas 800I A2推理产品：支持的卡数为4或8。 Atlas 300I Duo 推理卡：支持的卡数为1或2。	FP16：支持 BF16：不支持	W8A8量化：仅Atlas 800I A2推理产品支持	MindIE Service：支持 TGI：不支持	不支持	FA：支持 PA：支持
Qwen1.5-72B	Atlas 800I A2推理产品：支持的卡数为8。 Atlas 300I Duo 推理卡：不支持。	FP16：支持 BF16：不支持	W8A16量化：仅Atlas 800I A2推理产品支持	MindIE Service：支持 TGI：不支持	不支持	FA：支持 PA：支持
Starcoder-15.5B	Atlas 800I A2推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为2。	FP16：支持 BF16：不支持	W8A8量化：仅Atlas 800I A2推理产品支持	MindIE Service：支持 TGI：支持	不支持	FA：不支持 PA：支持
StarCoder2-15B	Atlas 800I A2推理产品：支持的卡数为2、4或8。 Atlas 300I Duo 推理卡：不支持。	FP16：支持 BF16：不支持	W8A8量化：仅Atlas 800I A2推理产品支持	MindIE Service：支持 TGI：不支持	不支持	FA：不支持 PA：支持
Vicuna-7B	Atlas 800I A2推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为2。	FP16：支持 BF16：不支持	不支持	MindIE Service：不支持 TGI：不支持	不支持	FA：不支持 PA：支持
Vicuna-13B	Atlas 800I A2推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为2。	FP16：支持 BF16：不支持	不支持	MindIE Service：不支持 TGI：不支持	不支持	FA：不支持 PA：支持
Yi-6B-200K	Atlas 800I A2推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为2。	FP16：支持 BF16：仅Atlas 800I A2推理产品支持	不支持	MindIE Service：支持 TGI：不支持	不支持	FA：不支持 PA：支持
Yi-34B-200K	Atlas 800I A2推理产品：支持的卡数为4或8。 Atlas 300I Duo 推理卡：不支持。	FP16：支持 BF16：仅Atlas 800I A2推理产品支持	不支持	MindIE Service：不支持 TGI：不支持	支持	FA：不支持 PA：支持
ziya-coding-34B	Atlas 800I A2推理产品：支持的卡数为4或8。 Atlas 300I Duo 推理卡：支持的卡数为2。	FP16：支持 BF16：不支持	不支持	MindIE Service：不支持 TGI：不支持	不支持	FA：不支持 PA：支持