多模态理解模型列表

以下模型需配合ATB Models模型库使用，ATB Models的安装方式请参见《MindIE安装指南》中“安装开发环境 > 安装ATB Models”章节；ATB Models的使用场景请参见《MindIE LLM开发指南》的“模型推理使用流程 > ATB Models使用”章节。
当前版本多模态理解模型不支持量化。

模型名称	多卡能力	数据类型	服务化	模型权重链接
LLava-1.6-mistral-7B	Atlas 800I A2 推理产品（64G）：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1、2或4。	FP16：支持 BF16：仅Atlas 800I A2 推理产品支持	MindIE Service：支持	链接
LLava-1.6-vicuna-7B	Atlas 800I A2 推理产品（64G）：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1、2或4。	FP16：支持 BF16：仅Atlas 800I A2 推理产品支持	MindIE Service：支持	链接
LLava-1.6-vicuna-13B	Atlas 800I A2 推理产品（64G）：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1、2或4。	FP16：支持 BF16：仅Atlas 800I A2 推理产品支持	MindIE Service：支持	链接
LLava-v1.6-34b-hf	Atlas 800I A2 推理产品（64G）：支持的卡数为4或8。 Atlas 300I Duo 推理卡：支持的卡数为1、2或4。	FP16：支持 BF16：仅Atlas 800I A2 推理产品支持	MindIE Service：支持	链接
LLava-next-video-34b	Atlas 800I A2 推理产品（64G）：支持的卡数为4或8。 Atlas 300I Duo 推理卡：支持的卡数为1、2或4。	FP16：支持 BF16：仅Atlas 800I A2 推理产品支持	MindIE Service：支持	链接
LLava-next-video-7b	Atlas 800I A2 推理产品（64G）：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1、2或4。	FP16：支持 BF16：仅Atlas 800I A2 推理产品支持	MindIE Service：支持	链接
LLava-v1.5-13B	Atlas 800I A2 推理产品（64G）：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1、2或4。	FP16：支持 BF16：仅Atlas 800I A2 推理产品支持	MindIE Service：支持	链接
LLava-v1.5-7B	Atlas 800I A2 推理产品（64G）：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1、2或4。	FP16：支持 BF16：仅Atlas 800I A2 推理产品支持	MindIE Service：支持	链接
Qwen-VL	Atlas 800I A2 推理产品（64G）：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1、2或4。	FP16：支持 BF16：仅Atlas 800I A2 推理产品支持	MindIE Service：支持	链接
Qwen2-Audio-7B-Instruct	Atlas 800I A2 推理产品（64G）：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1、2或4。	FP16：支持 BF16：仅Atlas 800I A2 推理产品支持	MindIE Service：支持	链接
Qwen2-VL-7B-Instruct	Atlas 800I A2 推理产品（64G）：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1、2或4。	FP16：支持 BF16：仅Atlas 800I A2 推理产品支持	MindIE Service：支持	链接
internVL-Chat-V1-2 （该模型预计下个版本将日落）	Atlas 800I A2 推理产品：支持的卡数为4或8。 Atlas 300I Duo 推理卡：支持的卡数为2或4。	FP16：支持 BF16：仅Atlas 800I A2 推理产品支持	MindIE Service：支持	链接
internVL-Chat-V1-5 （该模型预计下个版本将日落）	Atlas 800I A2 推理产品（64G）：支持的卡数为4、8。 Atlas 300I Duo 推理卡：支持的卡数为2、4。	FP16：支持 BF16：不支持	MindIE Service：支持	链接
InternVL2-8B	Atlas 800I A2 推理产品（64G）：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1、2或4。	FP16：支持 BF16：不支持	MindIE Service：支持	链接
InternVL2-40B	Atlas 800I A2 推理产品（64G）：支持的卡数为4、8。 Atlas 300I Duo 推理卡：支持的卡数为2或4。	FP16：支持 BF16：仅Atlas 800I A2 推理产品支持	MindIE Service：支持	链接
MiniCPM-Llama3-V-2_5 （该模型预计下个版本将日落）	Atlas 800I A2 推理产品（64G）：不支持。 Atlas 300I Duo 推理卡：支持的卡数为1。	FP16：支持 BF16：不支持	不支持	链接
MiniCPM-V-2 （该模型预计下个版本将日落）	Atlas 800I A2 推理产品（64G）：不支持。 Atlas 300I Duo 推理卡：支持的卡数为1。	FP16：支持 BF16：不支持	不支持	链接
internLM-xcomposer2-vl-7B （该模型预计下个版本将日落）	Atlas 800I A2 推理产品（64G）：支持的卡数为1。 Atlas 300I Duo 推理卡：支持的卡数为1。	FP16：支持 BF16：不支持	不支持	链接
internLM-XComposer2-4KHD-7B （该模型预计下个版本将日落）	Atlas 800I A2 推理产品（64G）：支持的卡数为1。 Atlas 300I Duo 推理卡：支持的卡数为1。	FP16：支持 BF16：不支持	不支持	链接

父主题： 支持的模型列表