大语言模型列表

以下模型需配合ATB Models模型库使用，ATB Models的安装方式请参见《MindIE安装指南》中“安装开发环境 > 安装ATB Models”章节。

MindIE支持的大语言模型列表如下所示。

Baichuan系列

模型名称	多卡能力	数据类型	量化	服务化	长序列	模型权重链接
Baichuan2-7B	Atlas 800I A2 推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1。	FP16：支持 BF16：不支持	W8A8量化：仅Atlas 800I A2 推理产品支持 W8A16量化：仅Atlas 800I A2 推理产品支持	MindIE Service：支持 TGI：支持	不支持	链接
Baichuan2-13B	Atlas 800I A2 推理产品：支持的卡数为2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1或2。	FP16：支持 BF16：不支持	W8A8量化：仅Atlas 800I A2 推理产品支持 W8A16量化：仅Atlas 800I A2 推理产品支持	MindIE Service：支持 TGI：支持	不支持	链接

Bloom系列

模型名称	多卡能力	数据类型	量化	服务化	长序列	模型权重链接
Bloom-7B	Atlas 800I A2 推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为4。	FP16：支持 BF16：不支持	不支持	不支持	不支持	链接
Bloom-176B	Atlas 800I A2 推理产品：支持的卡数为8。 Atlas 300I Duo 推理卡：不支持。	FP16：支持 BF16：不支持	W8A16量化：仅Atlas 800I A2 推理产品支持	不支持	不支持	链接

ChatGLM系列

模型名称	多卡能力	数据类型	量化	服务化	长序列	模型权重链接
ChatGLM2-6B （该模型预计下个版本将日落）	Atlas 800I A2 推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1、2或4。	FP16：支持 BF16：不支持	W8A8量化：仅Atlas 800I A2 推理产品支持稀疏量化：仅Atlas 300I Duo 推理卡支持	MindIE Service：支持 TGI：支持	不支持	链接
ChatGLM3-6B	Atlas 800I A2 推理产品（32G）：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1或2。	FP16：支持 BF16：不支持	不支持	MindIE Service：支持 TGI：不支持	不支持	链接
ChatGLM3-6B-32K	Atlas 800I A2 推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1或2。	FP16：支持 BF16：不支持	W8A8量化：仅Atlas 800I A2 推理产品支持	MindIE Service：支持 TGI：不支持	不支持	链接
GLM4-9B-Chat	Atlas 800I A2 推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1或2。	FP16：支持 BF16：仅Atlas 800I A2 推理产品支持	W8A8量化：仅Atlas 800I A2 推理产品支持稀疏量化：仅Atlas 300I Duo 推理卡支持 W8A8C8量化：仅Atlas 800I A2 推理产品（32G）支持	MindIE Service：支持 TGI：不支持	Atlas 800I A2 推理产品（64G）支持的长度最长为1M	链接

CodeLLaMA系列

模型名称	多卡能力	数据类型	量化	服务化	长序列	模型权重链接
CodeLLaMA-13B	Atlas 800I A2 推理产品（32G）：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：1、2或4	FP16：支持 BF16：仅Atlas 800I A2 推理产品支持	不支持	MindIE Service：支持 TGI：不支持	不支持	链接
CodeLLaMA-34B	Atlas 800I A2 推理产品（32G）：支持的卡数为4或8。 Atlas 300I Duo 推理卡：支持的卡数为2或4。	FP16：支持 BF16：仅Atlas 800I A2 推理产品支持	W8A8量化：仅Atlas 800I A2 推理产品支持稀疏量化：仅Atlas 300I Duo 推理卡支持	MindIE Service：支持 TGI：不支持	不支持	链接
CodeLLaMA-70B	Atlas 800I A2 推理产品（32G）：支持的卡数为8。 Atlas 300I Duo 推理卡：不支持。	FP16：支持 BF16：仅Atlas 800I A2 推理产品支持	不支持	不支持	不支持	链接

DeepSeek系列

模型名称	多卡能力	数据类型	量化	服务化	长序列	模型权重链接
DeepSeek-Coder-6.7B	Atlas 800I A2 推理产品（32G）：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1或2。	FP16：支持 BF16：仅Atlas 800I A2 推理产品支持	不支持	不支持	不支持	链接
DeepSeek-Coder-7B	Atlas 800I A2 推理产品（32G）：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1或2。	FP16：支持 BF16：仅Atlas 800I A2 推理产品支持	不支持	不支持	不支持	链接
DeepSeek-Coder-33B	Atlas 800I A2 推理产品（32G）：支持的卡数为4或8。 Atlas 300I Duo 推理卡：不支持。	FP16：仅Atlas 800I A2 推理产品支持 BF16：仅Atlas 800I A2 推理产品支持	不支持	不支持	不支持	链接
DeepSeek-MoE-16B	Atlas 800I A2 推理产品（32G）：支持的卡数为4或8。 Atlas 300I Duo 推理卡：不支持。	FP16：仅Atlas 800I A2 推理产品支持 BF16：不支持	不支持	MindIE Service：支持 TGI：不支持	不支持	链接
DeepSeek-V2-Lite-16B	Atlas 800I A2 推理产品：支持的卡数为2、4或8。 Atlas 300I Duo 推理卡：不支持。	FP16：仅Atlas 800I A2 推理产品支持 BF16：不支持	W8A16量化：仅Atlas 800I A2 推理产品支持	不支持	不支持	链接
DeepSeek-V2-236B	Atlas 800I A2 推理产品（64G）：支持的卡数为16。 Atlas 300I Duo 推理卡：不支持。	FP16：仅Atlas 800I A2 推理产品支持 BF16：不支持	W8A16量化：仅Atlas 800I A2 推理产品支持	不支持	不支持	链接

InternLM系列

模型名称	多卡能力	数据类型	量化	服务化	长序列	模型权重链接
InternLM-20B （该模型预计下个版本将日落）	Atlas 800I A2 推理产品：支持的卡数为2、4或8。 Atlas 300I Duo 推理卡：不支持。	FP16：仅Atlas 800I A2 推理产品支持 BF16：不支持	不支持	不支持	不支持	链接
InternLM2-20B	Atlas 800I A2 推理产品：支持的卡数为2、4或8。 Atlas 300I Duo 推理卡：不支持。	FP16：仅Atlas 800I A2 推理产品支持 BF16：不支持	不支持	MindIE Service：支持 TGI：不支持	Atlas 800I A2 推理产品（64G）支持的长度最长为200K	链接

模型名称

多卡能力

数据类型

量化

服务化

长序列

模型权重链接

InternLM-20B

（该模型预计下个版本将日落）

Atlas 800I A2 推理产品：支持的卡数为2、4或8。
Atlas 300I Duo 推理卡：不支持。

FP16：仅Atlas 800I A2 推理产品支持
BF16：不支持

不支持

链接

InternLM2-20B

Atlas 800I A2 推理产品：支持的卡数为2、4或8。
Atlas 300I Duo 推理卡：不支持。

FP16：仅Atlas 800I A2 推理产品支持
BF16：不支持

不支持

MindIE Service：支持
TGI：不支持

Atlas 800I A2 推理产品（64G）支持的长度最长为200K

链接

LLaMA系列

模型名称	多卡能力	数据类型	量化	服务化	长序列	模型权重链接
LLaMA-7B （该模型预计下个版本将日落）	Atlas 800I A2 推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1、2或4。	FP16：支持 BF16：不支持	不支持	不支持	不支持	链接
LLaMA-13B （该模型预计下个版本将日落）	Atlas 800I A2 推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1、2或4。	FP16：支持 BF16：不支持	不支持	不支持	不支持	链接
LLaMA-33B （该模型预计下个版本将日落）	Atlas 800I A2 推理产品：支持的卡数为4或8。 Atlas 300I Duo 推理卡：不支持。	FP16：仅Atlas 800I A2 推理产品支持 BF16：仅Atlas 800I A2 推理产品支持	不支持	不支持	不支持	链接
LLaMA-65B （该模型预计下个版本将日落）	Atlas 800I A2 推理产品（32G）：支持的卡数为8。 Atlas 300I Duo 推理卡：不支持。	FP16：仅Atlas 800I A2 推理产品支持 BF16：仅Atlas 800I A2 推理产品支持	W8A16量化：仅Atlas 800I A2 推理产品支持	MindIE Service：支持 TGI：支持	不支持	链接
LLaMA2-7B （该模型预计下个版本将日落）	Atlas 800I A2 推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1、2或4。	FP16：支持 BF16：不支持	W8A8量化：仅Atlas 800I A2 推理产品支持稀疏量化：仅Atlas 300I Duo 推理卡支持	MindIE Service：支持 TGI：支持	不支持	链接
LLaMA2-13B （该模型预计下个版本将日落）	Atlas 800I A2 推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1、2或4。	FP16：支持 BF16：不支持	W8A8量化：仅Atlas 800I A2 推理产品支持稀疏量化：仅Atlas 300I Duo 推理卡支持	MindIE Service：支持 TGI：支持	不支持	链接
LLaMA2-70B （该模型预计下个版本将日落）	Atlas 800I A2 推理产品：支持的卡数为8。 Atlas 300I Duo 推理卡：不支持。	FP16：仅Atlas 800I A2 推理产品支持 BF16：仅Atlas 800I A2 推理产品支持	W8A8量化：仅Atlas 800I A2 推理产品支持 W8A16量化：仅Atlas 800I A2 推理产品支持	MindIE Service：不支持 TGI：支持	不支持	链接
LLaMA3-8B	Atlas 800I A2 推理产品（32G）：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1、2或4。	FP16：支持 BF16：仅Atlas 800I A2 推理产品支持	不支持	MindIE Service：支持 TGI：不支持	不支持	链接
LLaMA3-70B	Atlas 800I A2 推理产品：支持的卡数为8。 Atlas 300I Duo 推理卡：不支持。	FP16：仅Atlas 800I A2 推理产品支持 BF16：仅Atlas 800I A2 推理产品支持	W8A16量化：仅Atlas 800I A2 推理产品支持	MindIE Service：支持 TGI：不支持	不支持	链接
LLaMA3.1-8B	Atlas 800I A2 推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1、2或4。	FP16：支持 BF16：仅Atlas 800I A2 推理产品支持	W8A8量化：仅Atlas 800I A2 推理产品支持	MindIE Service：支持 TGI：不支持	不支持	链接
LLaMA3.1-70B	Atlas 800I A2 推理产品：支持的卡数为8。 Atlas 300I Duo 推理卡：不支持。	FP16：仅Atlas 800I A2 推理产品支持 BF16：仅Atlas 800I A2 推理产品支持	kv cache量化：仅Atlas 800I A2 推理产品支持 Attention量化：仅Atlas 800I A2 推理产品支持	MindIE Service：支持 TGI：不支持	Atlas 800I A2 推理产品（64G）支持的长度最长为128K	链接
LLaMA3.1-405B	Atlas 800I A2 推理产品（64G）：支持的卡数为16或32。 Atlas 300I Duo 推理卡：不支持。	FP16：仅Atlas 800I A2 推理产品支持 BF16：仅Atlas 800I A2 推理产品支持	不支持	不支持	不支持	链接

Mixtral系列

模型名称	多卡能力	数据类型	量化	服务化	长序列	模型权重链接
Mixtral-8x7B-Instruct-V0.1	Atlas 800I A2 推理产品：支持的卡数为8。 Atlas 300I Duo 推理卡：支持的卡数为4。	FP16：支持 BF16：不支持	W8A8量化：仅Atlas 800I A2 推理产品支持	不支持	不支持	链接
Mixtral-8x22B-Instruct-V0.1	Atlas 800I A2 推理产品（64G）：支持的卡数为8。 Atlas 300I Duo 推理卡：不支持。	FP16：仅Atlas 800I A2 推理产品支持 BF16：不支持	不支持	不支持	不支持	链接

OpenBMB/MiniCPM系列

模型名称	多卡能力	数据类型	量化	服务化	长序列	模型权重链接
OpenBMB/MiniCPM-1B-sft-bf16	Atlas 800I A2 推理产品：不支持。 Atlas 300I Duo 推理卡：支持的卡数为1。	FP16：支持 BF16：不支持	不支持	不支持	不支持	链接
OpenBMB/MiniCPM-2B-sft-bf16	Atlas 800I A2 推理产品：不支持。 Atlas 300I Duo 推理卡：支持的卡数为1。	FP16：支持 BF16：不支持	不支持	不支持	不支持	链接

Qwen系列

模型名称	多卡能力	数据类型	量化	服务化	长序列	模型权重链接
Qwen-7B （该模型预计下个版本将日落）	Atlas 800I A2 推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1。	FP16：支持 BF16：不支持	W8A8量化：仅Atlas 800I A2 推理产品支持	MindIE Service：支持 TGI：不支持	不支持	链接
Qwen-14B （该模型预计下个版本将日落）	Atlas 800I A2 推理产品：支持的卡数为2、4或8。 Atlas 300I Duo 推理卡：不支持。	FP16：仅Atlas 800I A2 推理产品支持 BF16：不支持	W8A8量化：仅Atlas 800I A2 推理产品支持	MindIE Service：支持 TGI：不支持	不支持	链接
Qwen-72B （该模型预计下个版本将日落）	Atlas 800I A2 推理产品（32G）：支持的卡数为8。 Atlas 300I Duo 推理卡：不支持。	FP16：仅Atlas 800I A2 推理产品支持 BF16：不支持	W8A16量化：仅Atlas 800I A2 推理产品支持	MindIE Service：支持 TGI：不支持	不支持	链接
Qwen1.5-7B	Atlas 800I A2 推理产品（32G）：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1。	FP16：支持 BF16：不支持	不支持	MindIE Service：支持 TGI：不支持	不支持	链接
Qwen1.5-14B	Atlas 800I A2 推理产品（32G）：支持的卡数为2、4或8。 Atlas 300I Duo 推理卡：不支持。	FP16：仅Atlas 800I A2 推理产品支持 BF16：不支持	W8A8量化：仅Atlas 800I A2 推理产品支持	MindIE Service：支持 TGI：不支持	不支持	链接
Qwen1.5-32B	Atlas 800I A2 推理产品（32G）：支持的卡数为4或8。 Atlas 300I Duo 推理卡：不支持	FP16：仅Atlas 800I A2 推理产品支持 BF16：不支持	W8A8量化：仅Atlas 800I A2 推理产品支持	MindIE Service：支持 TGI：不支持	不支持	链接
Qwen1.5-72B	Atlas 800I A2 推理产品：支持的卡数为8。 Atlas 300I Duo 推理卡：不支持。	FP16：仅Atlas 800I A2 推理产品支持 BF16：不支持	W8A16量化：仅Atlas 800I A2 推理产品支持	MindIE Service：支持 TGI：不支持	不支持	链接
Qwen1.5-110B	Atlas 800I A2 推理产品：支持的卡数为8。 Atlas 300I Duo 推理卡：不支持。	FP16：仅Atlas 800I A2 推理产品支持 BF16：不支持	W8A16量化：仅Atlas 800I A2 推理产品支持	不支持	不支持	链接
Qwen2-57B-A14B	Atlas 800I A2 推理产品：支持的卡数为8。 Atlas 300I Duo 推理卡：不支持。	FP16：不支持 BF16：仅Atlas 800I A2 推理产品支持	不支持	MindIE Service：支持 TGI：不支持	不支持	链接
Qwen2-7B	Atlas 800I A2 推理产品：支持的卡数为1、2或4。 Atlas 300I Duo 推理卡：支持的卡数为1。	FP16：仅Atlas 300I Duo 推理卡支持 BF16：仅Atlas 800I A2 推理产品支持	W8A8量化：仅Atlas 800I A2 推理产品支持	MindIE Service：支持 TGI：不支持	不支持	链接
Qwen2-72B	Atlas 800I A2 推理产品：支持的卡数为4或8。 Atlas 300I Duo 推理卡：不支持。	FP16：不支持 BF16：仅Atlas 800I A2 推理产品支持	W8A8量化：仅Atlas 800I A2 推理产品支持 W8A16量化：仅Atlas 800I A2 推理产品支持 KV cache量化：仅Atlas 800I A2 推理产品支持	MindIE Service：支持 TGI：不支持	Atlas 800I A2 推理产品（64G）支持的长度最长为128K	链接
Qwen2.5-7B	Atlas 800I A2 推理产品：支持的卡数为1或2。 Atlas 300I Duo 推理卡：支持的卡数为1。	FP16：仅Atlas 300I Duo 推理卡支持 BF16：仅Atlas 800I A2 推理产品支持	不支持	MindIE Service：支持 TGI：不支持	不支持	链接
Qwen2.5-14B	Atlas 800I A2 推理产品：支持的卡数为2。 Atlas 300I Duo 推理卡：1。	FP16：仅Atlas 300I Duo 推理卡支持 BF16：仅Atlas 800I A2 推理产品支持	不支持	MindIE Service：支持 TGI：不支持	不支持	链接
Qwen2.5-32B	Atlas 800I A2 推理产品：支持的卡数为4或8。 Atlas 300I Duo 推理卡：不支持。	FP16：不支持 BF16：仅Atlas 800I A2 推理产品支持	W8A8量化：仅Atlas 800I A2 推理产品支持	MindIE Service：支持 TGI：不支持	不支持	链接
Qwen2.5-72B	Atlas 800I A2 推理产品：支持的卡数为8。 Atlas 300I Duo 推理卡：不支持。	FP16：不支持 BF16：仅Atlas 800I A2 推理产品支持	W8A8量化：仅Atlas 800I A2 推理产品支持	MindIE Service：支持 TGI：不支持	不支持	链接

StarCoder系列

模型名称	多卡能力	数据类型	量化	服务化	长序列	模型权重链接
StarCoder-15.5B （该模型预计下个版本将日落）	Atlas 800I A2 推理产品：支持的卡数为8。 Atlas 300I Duo 推理卡：不支持。	FP16：仅Atlas 800I A2 推理产品支持 BF16：不支持	W8A8量化：支持	MindIE Service：支持 TGI：支持	不支持	链接
StarCoder2-15B （该模型预计下个版本将日落）	Atlas 800I A2 推理产品（32G）：支持的卡数为4。 Atlas 300I Duo 推理卡：不支持。	FP16：仅Atlas 800I A2 推理产品支持 BF16：不支持	W8A8量化：仅Atlas 800I A2 推理产品支持	MindIE Service：支持 TGI：不支持	不支持	链接

模型名称

多卡能力

数据类型

量化

服务化

长序列

模型权重链接

StarCoder-15.5B

（该模型预计下个版本将日落）

Atlas 800I A2 推理产品：支持的卡数为8。
Atlas 300I Duo 推理卡：不支持。

FP16：仅Atlas 800I A2 推理产品支持
BF16：不支持

W8A8量化：支持

MindIE Service：支持
TGI：支持

不支持

链接

StarCoder2-15B

（该模型预计下个版本将日落）

Atlas 800I A2 推理产品（32G）：支持的卡数为4。
Atlas 300I Duo 推理卡：不支持。

FP16：仅Atlas 800I A2 推理产品支持
BF16：不支持

W8A8量化：仅Atlas 800I A2 推理产品支持

MindIE Service：支持
TGI：不支持

不支持

链接

Vicuna系列

模型名称	多卡能力	数据类型	量化	服务化	长序列	模型权重链接
Vicuna-7B （该模型预计下个版本将日落）	Atlas 800I A2 推理产品（32G）：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1、2或4。	FP16：支持 BF16：不支持	不支持	不支持	不支持	链接
Vicuna-13B （该模型预计下个版本将日落）	Atlas 800I A2 推理产品（32G）：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1、2或4。	FP16：支持 BF16：不支持	不支持	不支持	不支持	链接

模型名称

多卡能力

数据类型

量化

服务化

长序列

模型权重链接

Vicuna-7B

（该模型预计下个版本将日落）

Atlas 800I A2 推理产品（32G）：支持的卡数为1、2、4或8。
Atlas 300I Duo 推理卡：支持的卡数为1、2或4。

FP16：支持
BF16：不支持

不支持

链接

Vicuna-13B

（该模型预计下个版本将日落）

Atlas 800I A2 推理产品（32G）：支持的卡数为1、2、4或8。
Atlas 300I Duo 推理卡：支持的卡数为1、2或4。

FP16：支持
BF16：不支持

不支持

链接

Yi系列

模型名称	多卡能力	数据类型	量化	服务化	长序列	模型权重链接
Yi-6B-200K	Atlas 800I A2 推理产品（32G）：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1、2或4。	FP16：支持 BF16：仅Atlas 800I A2 推理产品支持	不支持	不支持	不支持	链接
Yi-34B-200K （该模型预计下个版本将日落）	Atlas 800I A2 推理产品（32G）：支持的卡数为4或8。 Atlas 300I Duo 推理卡：不支持。	FP16：仅Atlas 800I A2 推理产品支持 BF16：仅Atlas 800I A2 推理产品支持	不支持	不支持	Atlas 800I A2 推理产品（64G）支持的长度最长为200K	链接

模型名称

多卡能力

数据类型

量化

服务化

长序列

模型权重链接

Yi-6B-200K

Atlas 800I A2 推理产品（32G）：支持的卡数为1、2、4或8。
Atlas 300I Duo 推理卡：支持的卡数为1、2或4。

FP16：支持
BF16：仅Atlas 800I A2 推理产品支持

不支持

链接

Yi-34B-200K

（该模型预计下个版本将日落）

Atlas 800I A2 推理产品（32G）：支持的卡数为4或8。
Atlas 300I Duo 推理卡：不支持。

FP16：仅Atlas 800I A2 推理产品支持
BF16：仅Atlas 800I A2 推理产品支持

不支持

Atlas 800I A2 推理产品（64G）支持的长度最长为200K

链接

其他系列

模型名称	多卡能力	数据类型	量化	服务化	长序列	模型权重链接
Bloomz-7B1-MT	Atlas 800I A2 推理产品（32G）：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：不支持。	FP16：支持 BF16：不支持	不支持	不支持	不支持	链接
CodeGeeX2-6B （该模型预计下个版本将日落）	Atlas 800I A2 推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1或2。	FP16：支持 BF16：不支持	W8A8量化：仅Atlas 800I A2 推理产品支持	MindIE Service：支持 TGI：支持	不支持	链接
CodeShell-7B （该模型预计下个版本将日落）	Atlas 800I A2 推理产品（32G）：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1。	FP16：支持 BF16：不支持	不支持	不支持	不支持	链接
Command-R-Plus-104B	Atlas 800I A2 推理产品：支持的卡数为8。 Atlas 300I Duo 推理卡：不支持。	FP16：支持 BF16：不支持	不支持	不支持	不支持	链接
Gemma-7B （该模型预计下个版本将日落）	Atlas 800I A2 推理产品（32G）：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1、2或4。	FP16：支持 BF16：仅Atlas 800I A2 推理产品支持	W8A8量化：仅Atlas 800I A2 推理产品支持	不支持	不支持	链接
GPT-NEOX-20B	Atlas 800I A2 推理产品：支持的卡数为2、4或8。 Atlas 300I Duo 推理卡：不支持。	FP16：仅Atlas 800I A2 推理产品支持 BF16：不支持	不支持	不支持	不支持	链接
Mistral-7B	Atlas 800I A2 推理产品（32G）：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1或2。	FP16：支持 BF16：不支持	不支持	不支持	不支持	链接
TeleChat12B-V2	Atlas 800I A2 推理产品：不支持。 Atlas 300I Duo 推理卡：支持的卡数为2或4。	FP16：支持 BF16：不支持	稀疏量化：仅Atlas 300I Duo 推理卡支持	不支持	不支持	链接
Ziya-Coding-34B （该模型预计下个版本将日落）	Atlas 800I A2 推理产品（32G）：支持的卡数为4或8。 Atlas 300I Duo 推理卡：不支持。	FP16：仅Atlas 800I A2 推理产品支持 BF16：不支持	不支持	不支持	不支持	链接

父主题： 支持的模型列表