大语言模型列表

以下模型需配合ATB Models模型库使用，ATB Models的安装方式请参见《MindIE安装指南》中“安装开发环境 > 安装ATB Models”章节。

MindIE支持的大语言模型列表如表1所示。

表1 模型列表
模型名称	多卡能力	数据类型	量化	服务化	长序列
Baichuan2-7B	Atlas 800I A2推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1。	FP16：支持 BF16：不支持	W8A8量化：仅Atlas 800I A2推理产品支持	MindIE Service：支持 TGI：支持	不支持
Baichuan2-13B	Atlas 800I A2推理产品：支持的卡数为2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1或2。	FP16：支持 BF16：不支持	W8A8量化：仅Atlas 800I A2推理产品支持 W8A16量化：仅Atlas 800I A2推理产品支持	MindIE Service：支持 TGI：支持	不支持
Bloom-7B	Atlas 800I A2推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为4。	FP16：支持 BF16：不支持	不支持	MindIE Service：支持 TGI：不支持	不支持
Bloom-176B	Atlas 800I A2推理产品：支持的卡数为8。 Atlas 300I Duo 推理卡：不支持。	FP16：支持 BF16：不支持	W8A16量化：仅Atlas 800I A2推理产品支持	不支持	不支持
Bloomz-7B1-mt-7B	Atlas 800I A2推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：不支持。	FP16：支持 BF16：不支持	不支持	不支持	不支持
ChatGLM2-6B	Atlas 800I A2推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1或2。	FP16：支持 BF16：不支持	W8A8量化：仅Atlas 800I A2推理产品支持稀疏量化：仅Atlas 300I Duo 推理卡支持	MindIE Service：支持 TGI：支持	不支持
ChatGLMV3-32K-6B	Atlas 800I A2推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1或2。	FP16：支持 BF16：不支持	不支持	MindIE Service：支持 TGI：不支持	不支持
CodeGeeX2-6B	Atlas 800I A2推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1或2。	FP16：支持 BF16：不支持	W8A8量化：仅Atlas 800I A2推理产品支持	MindIE Service：支持 TGI：支持	不支持
CodeLLaMA-13B	Atlas 800I A2推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1、2或4。	FP16：支持 BF16：仅Atlas 800I A2推理产品支持	不支持	MindIE Service：支持 TGI：不支持	不支持
CodeLLaMA-34B	Atlas 800I A2推理产品：支持的卡数为4或8。 Atlas 300I Duo 推理卡：支持的卡数为2或4。	FP16：支持 BF16：仅Atlas 800I A2推理产品支持	W8A8量化：仅Atlas 800I A2推理产品支持稀疏量化：仅Atlas 300I Duo 推理卡支持	MindIE Service：支持 TGI：不支持	不支持
CodeLLaMA-70B	Atlas 800I A2推理产品：支持的卡数为8。 Atlas 300I Duo 推理卡：不支持。	FP16：支持 BF16：仅Atlas 800I A2推理产品支持	不支持	不支持	不支持
CodeShell-7B	Atlas 800I A2推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1。	FP16：支持 BF16：不支持	不支持	不支持	不支持
DeepSeek-Coder-6.7B	Atlas 800I A2推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1或2。	FP16：支持 BF16：不支持	不支持	不支持	不支持
DeepSeek-Coder-7B	Atlas 800I A2推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1或2。	FP16：支持 BF16：不支持	不支持	不支持	不支持
DeepSeek-Coder-33B	Atlas 800I A2推理产品：支持的卡数为4或8。 Atlas 300I Duo 推理卡：不支持。	FP16：支持 BF16：不支持	不支持	不支持	不支持
DeepSeek-MoE-16B	Atlas 800I A2推理产品：支持的卡数为4或8。 Atlas 300I Duo 推理卡：不支持。	FP16：支持 BF16：不支持	不支持	MindIE Service：支持 TGI：不支持	不支持
DeepSeek-V2-Lite-16B	Atlas 800I A2推理产品：支持的卡数为2、4或8。 Atlas 300I Duo 推理卡：不支持。	FP16：支持 BF16：不支持	不支持	不支持	不支持
DeepSeek-V2-236B	Atlas 800I A2推理产品：支持的卡数为16。 Atlas 300I Duo 推理卡：不支持。	FP16：支持 BF16：不支持	W8A16量化：仅Atlas 800I A2推理产品支持	不支持	不支持
Gemma-7B	Atlas 800I A2推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1、2或4。	FP16：支持 BF16：仅Atlas 800I A2推理产品支持	W8A8量化：仅Atlas 800I A2推理产品支持	不支持	不支持
GLM4-9B	Atlas 800I A2推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1或2。	FP16：支持 BF16：仅Atlas 800I A2推理产品支持	W8A8量化：仅Atlas 800I A2推理产品支持稀疏量化：仅Atlas 300I Duo 推理卡支持	MindIE Service：支持 TGI：不支持	Atlas 800I A2推理产品（64G）支持的长度最长为1M
GLM-V3-6B	Atlas 800I A2推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1或2。	FP16：支持 BF16：不支持	W8A8量化：仅Atlas 800I A2推理产品支持	MindIE Service：支持 TGI：不支持	不支持
GPT-NEOX-20B	Atlas 800I A2推理产品：支持的卡数为2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1或2。	FP16：支持 BF16：不支持	不支持	不支持	不支持
InternLM-20B	Atlas 800I A2推理产品：支持的卡数为2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1、2或4。	FP16：支持 BF16：不支持	不支持	不支持	不支持
InternLM2-20B	Atlas 800I A2推理产品：支持的卡数为2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1、2或4。	FP16：支持 BF16：不支持	不支持	MindIE Service：支持 TGI：不支持	Atlas 800I A2推理产品（64G）支持的长度最长为200K
LLaMa-7B	Atlas 800I A2推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1、2或4。	FP16：支持 BF16：不支持	不支持	不支持	不支持
LLaMa-13B	Atlas 800I A2推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1、2或4。	FP16：支持 BF16：不支持	不支持	不支持	不支持
LLaMa-33B	Atlas 800I A2推理产品：支持的卡数为4或8。 Atlas 300I Duo 推理卡：支持的卡数为2或4。	FP16：支持 BF16：不支持	稀疏量化：仅Atlas 300I Duo 推理卡支持	不支持	不支持
LLaMa-65B	Atlas 800I A2推理产品：支持的卡数为8。 Atlas 300I Duo 推理卡：不支持。	FP16：支持 BF16：不支持	W8A16量化：仅Atlas 800I A2推理产品支持	MindIE Service：支持 TGI：支持	不支持
LLaMa2-7B	Atlas 800I A2推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1、2或4。	FP16：支持 BF16：不支持	W8A8量化：仅Atlas 800I A2推理产品支持稀疏量化：仅Atlas 300I Duo 推理卡支持	MindIE Service：支持 TGI：支持	不支持
LLaMa2-13B	Atlas 800I A2推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1、2或4。	FP16：支持 BF16：不支持	W8A8量化：仅Atlas 800I A2推理产品支持稀疏量化：仅Atlas 300I Duo 推理卡支持	MindIE Service：支持 TGI：支持	不支持
LLaMa2-70B	Atlas 800I A2推理产品：支持的卡数为8。 Atlas 300I Duo 推理卡：不支持。	FP16：支持 BF16：不支持	W8A8量化：仅Atlas 800I A2推理产品支持 W8A16量化：仅Atlas 800I A2推理产品支持	MindIE Service：不支持 TGI：支持	不支持
LLaMA3-8B	Atlas 800I A2推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1、2或4。	FP16：支持 BF16：仅Atlas 800I A2推理产品支持	不支持	MindIE Service：支持 TGI：不支持	不支持
LLaMA3-70B	Atlas 800I A2推理产品：支持的卡数为8。 Atlas 300I Duo 推理卡：不支持。	FP16：支持 BF16：仅Atlas 800I A2推理产品支持	W8A16量化：仅Atlas 800I A2推理产品支持	MindIE Service：支持 TGI：不支持	Atlas 800I A2推理产品（64G）支持的长度最长为256K
LLaMA3.1-8B	Atlas 800I A2推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1、2或4。	FP16：支持 BF16：仅Atlas 800I A2推理产品支持	W8A8量化：仅Atlas 800I A2推理产品支持	MindIE Service：支持 TGI：不支持	不支持
LLaMA3.1-70B	Atlas 800I A2推理产品：支持的卡数为8。 Atlas 300I Duo 推理卡：支持的卡数为2或4。	FP16：支持 BF16：仅Atlas 800I A2推理产品支持	kv cache量化：仅Atlas 800I A2推理产品支持 W8A8量化：仅Atlas 800I A2推理产品支持稀疏量化：仅Atlas 300I Duo 推理卡支持	MindIE Service：支持 TGI：不支持	Atlas 800I A2推理产品（64G）支持的长度最长为128K
Mistral-7B	Atlas 800I A2推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1或2。	FP16：支持 BF16：不支持	不支持	不支持	不支持
Mixtral-8x7B-Instruct-V0.1-8X7B	Atlas 800I A2推理产品：支持的卡数为8。 Atlas 300I Duo 推理卡：支持的卡数为4。	FP16：支持 BF16：不支持	W8A8量化：仅Atlas 800I A2推理产品支持	不支持	不支持
Mixtral-8x22B-InstructV0.1-8X22B	Atlas 800I A2推理产品：支持的卡数为8。 Atlas 300I Duo 推理卡：不支持。	FP16：支持 BF16：不支持	不支持	不支持	不支持
Qwen-7B	Atlas 800I A2推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1。	FP16：支持 BF16：不支持	W8A8量化：仅Atlas 800I A2推理产品支持	MindIE Service：支持 TGI：不支持	不支持
Qwen-14B	Atlas 800I A2推理产品：支持的卡数为2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1。	FP16：支持 BF16：不支持	W8A8量化：仅Atlas 800I A2推理产品支持	MindIE Service：支持 TGI：不支持	不支持
Qwen-72B	Atlas 800I A2推理产品：支持的卡数为8。 Atlas 300I Duo 推理卡：不支持。	FP16：支持 BF16：不支持	W8A16量化：仅Atlas 800I A2推理产品支持	MindIE Service：支持 TGI：不支持	不支持
Qwen1.5-7B	Atlas 800I A2推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1。	FP16：支持 BF16：不支持	不支持	MindIE Service：支持 TGI：不支持	不支持
Qwen1.5-14B	Atlas 800I A2推理产品：支持的卡数为2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1。	FP16：支持 BF16：不支持	W8A8量化：仅Atlas 800I A2推理产品支持稀疏量化：仅Atlas 300I Duo 推理卡支持	MindIE Service：支持 TGI：不支持	不支持
Qwen1.5-32B	Atlas 800I A2推理产品：支持的卡数为4或8。 Atlas 300I Duo 推理卡：支持的卡数为1。	FP16：支持 BF16：不支持	W8A8量化：仅Atlas 800I A2推理产品支持	MindIE Service：支持 TGI：不支持	不支持
Qwen1.5-72B	Atlas 800I A2推理产品：支持的卡数为8。 Atlas 300I Duo 推理卡：不支持。	FP16：支持 BF16：不支持	W8A16量化：仅Atlas 800I A2推理产品支持	MindIE Service：支持 TGI：不支持	不支持
Qwen1.5-110B	Atlas 800I A2推理产品：支持的卡数为8。 Atlas 300I Duo 推理卡：不支持。	FP16：支持 BF16：不支持	W8A16量化：仅Atlas 800I A2推理产品支持	不支持	不支持
Qwen2-57B-A14B	Atlas 800I A2推理产品：支持的卡数为8。 Atlas 300I Duo 推理卡：不支持。	FP16：不支持 BF16：仅Atlas 800I A2推理产品支持	不支持	MindIE Service：支持 TGI：不支持	不支持
Qwen2-7B	Atlas 800I A2推理产品：支持的卡数为1、2或4。 Atlas 300I Duo 推理卡：支持的卡数为1。	FP16：支持 BF16：仅Atlas 800I A2推理产品支持	W8A8量化：仅Atlas 800I A2推理产品支持	MindIE Service：支持 TGI：不支持	不支持
Qwen2-72B	Atlas 800I A2推理产品：支持的卡数为4或8。 Atlas 300I Duo 推理卡：支持的卡数为4。	FP16：支持 BF16：仅Atlas 800I A2推理产品支持	W8A8量化：仅Atlas 800I A2推理产品支持 W8A16量化：仅Atlas 800I A2推理产品支持稀疏量化：仅Atlas 300I Duo 推理卡支持 KV cache量化：仅Atlas 800I A2推理产品支持	MindIE Service：支持 TGI：不支持	Atlas 800I A2推理产品（64G）支持的长度最长为128K
Qwen2.5-7B	Atlas 800I A2推理产品：支持的卡数为1或2。 Atlas 300I Duo 推理卡：支持的卡数为1。	FP16：仅Atlas 300I Duo 推理卡支持 BF16：仅Atlas 800I A2推理产品支持	不支持	不支持	不支持
Qwen2.5-14B	Atlas 800I A2推理产品：支持的卡数为2。 Atlas 300I Duo 推理卡：支持的卡数为1。	FP16：仅Atlas 300I Duo 推理卡支持 BF16：仅Atlas 800I A2推理产品支持	不支持	不支持	不支持
Qwen2.5-32B	Atlas 800I A2推理产品：支持的卡数为4或8。 Atlas 300I Duo 推理卡：支持的卡数为2或4。	FP16：仅Atlas 300I Duo 推理卡支持 BF16：仅Atlas 800I A2推理产品支持	不支持	不支持	不支持
Qwen2.5-72B	Atlas 800I A2推理产品：支持的卡数为8。 Atlas 300I Duo 推理卡：支持的卡数为4。	FP16：仅Atlas 300I Duo 推理卡支持 BF16：仅Atlas 800I A2推理产品支持	不支持	不支持	不支持
StarCoder-15.5B	Atlas 800I A2推理产品：支持的卡数为8。 Atlas 300I Duo 推理卡：支持的卡数为2。	FP16：支持 BF16：不支持	W8A8量化：支持	MindIE Service：支持 TGI：支持	不支持
StarCoder2-15B	Atlas 800I A2推理产品：支持的卡数为4。 Atlas 300I Duo 推理卡：不支持。	FP16：支持 BF16：不支持	W8A8量化：仅Atlas 800I A2推理产品支持	MindIE Service：支持 TGI：不支持	不支持
TeleChat12B-V2-12B	Atlas 800I A2推理产品：不支持。 Atlas 300I Duo 推理卡：支持的卡数为2或4。	FP16：支持 BF16：不支持	稀疏量化：仅Atlas 300I Duo 推理卡支持	不支持	不支持
Vicuna-7B	Atlas 800I A2推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1、2或4。	FP16：支持 BF16：不支持	不支持	不支持	不支持
Vicuna-13B	Atlas 800I A2推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1、2或4。	FP16：支持 BF16：不支持	不支持	不支持	不支持
Yi-6B-200K-6B	Atlas 800I A2推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1、2或4。	FP16：支持 BF16：仅Atlas 800I A2推理产品支持	不支持	不支持	不支持
Yi-34B-200K	Atlas 800I A2推理产品：支持的卡数为4或8。 Atlas 300I Duo 推理卡：不支持。	FP16：支持 BF16：仅Atlas 800I A2推理产品支持	不支持	不支持	Atlas 800I A2推理产品（64G）支持的长度最长为200K
Ziya-Coding-34B	Atlas 800I A2推理产品：支持的卡数为4或8。 Atlas 300I Duo 推理卡：支持的卡数为2或4。	FP16：支持 BF16：不支持	不支持	不支持	不支持

父主题： MindIE支持模型列表