下载
中文
注册

多模态理解模型列表

  • 以下模型需配合ATB Models模型库使用,ATB Models的安装方式请参见《MindIE安装指南》中“安装开发环境 > 安装ATB Models”章节;ATB Models的使用场景请参见《MindIE LLM开发指南》的“模型推理使用流程 > ATB Models使用”章节
  • 当前版本多模态理解模型不支持量化。

模型名称

多卡能力

数据类型

纯模型支持模态

LLava-1.6-mistral-7B

  • Atlas 800I A2 推理产品:支持的卡数为1、2、4或8。
  • Atlas 300I Duo 推理卡:支持的卡数为1、2或4。
  • FP16:支持
  • BF16:仅Atlas 800I A2 推理产品支持
  • 文本
  • 图片

LLava-1.6-vicuna-7B

  • Atlas 800I A2 推理产品:支持的卡数为1、2、4或8。
  • Atlas 300I Duo 推理卡:支持的卡数为1、2或4。
  • FP16:支持
  • BF16:仅Atlas 800I A2 推理产品支持
  • 文本
  • 图片

LLava-1.6-vicuna-13B

  • Atlas 800I A2 推理产品:支持的卡数为1、2、4或8。
  • Atlas 300I Duo 推理卡:支持的卡数为1、2或4。
  • FP16:支持
  • BF16:仅Atlas 800I A2 推理产品支持
  • 文本
  • 图片

llava-v1.6-34b-hf

  • Atlas 800I A2 推理产品:支持的卡数为1、2、4或8。
  • Atlas 300I Duo 推理卡:支持的卡数为1、2或4。
  • FP16:支持
  • BF16:仅Atlas 800I A2 推理产品支持
  • 文本
  • 图片

llava-next-video-34b

  • Atlas 800I A2 推理产品:支持的卡数为1、2、4或8。
  • Atlas 300I Duo 推理卡:支持的卡数为1、2或4。
  • FP16:支持
  • BF16:仅Atlas 800I A2 推理产品支持
  • 文本
  • 图片
  • 视频

llava-next-video-7b

  • Atlas 800I A2 推理产品:支持的卡数为1、2、4或8。
  • Atlas 300I Duo 推理卡:支持的卡数为1、2或4。
  • FP16:支持
  • BF16:仅Atlas 800I A2 推理产品支持
  • 文本
  • 图片
  • 视频

llava-v1.5-13B

  • Atlas 800I A2 推理产品:支持的卡数为1、2、4或8。
  • Atlas 300I Duo 推理卡:支持的卡数为1、2或4。
  • FP16:支持
  • BF16:仅Atlas 800I A2 推理产品支持
  • 文本
  • 图片

llava-v1.5-7B

  • Atlas 800I A2 推理产品:支持的卡数为1、2、4或8。
  • Atlas 300I Duo 推理卡:支持的卡数为1、2或4。
  • FP16:支持
  • BF16:仅Atlas 800I A2 推理产品支持
  • 文本
  • 图片

Qwen-VL

  • Atlas 800I A2 推理产品:支持的卡数为1、2、4或8。
  • Atlas 300I Duo 推理卡:支持的卡数为1、2或4。
  • FP16:支持
  • BF16:仅Atlas 800I A2 推理产品支持
  • 文本
  • 图片

internVL-Chat-V1-2

  • Atlas 800I A2 推理产品:支持的卡数为4或8。
  • Atlas 300I Duo 推理卡:支持的卡数为2或4。
  • FP16:支持
  • BF16:不支持
  • 文本
  • 图片

internVL-Chat-V1-5

  • Atlas 800I A2 推理产品:支持的卡数为4、8。
  • Atlas 300I Duo 推理卡:支持的卡数为2、4。
  • FP16:支持
  • BF16:不支持
  • 文本
  • 图片

MiniCPM-Llama3-V-2_5

  • Atlas 800I A2 推理产品:不支持。
  • Atlas 300I Duo 推理卡:支持的卡数为1。
  • FP16:支持
  • BF16:不支持
  • 文本
  • 图片

MiniCPM-V-2

  • Atlas 800I A2 推理产品:不支持。
  • Atlas 300I Duo 推理卡:支持的卡数为1。
  • FP16:支持
  • BF16:不支持
  • 文本
  • 图片

internlm-xcomposer2-vl-7b

  • Atlas 800I A2 推理产品:支持的卡数为1。
  • Atlas 300I Duo 推理卡:支持的卡数为1。
  • FP16:支持
  • BF16:不支持
  • 文本
  • 图片

internLM-XComposer2-4KHD-7B

  • Atlas 800I A2 推理产品:支持的卡数为1。
  • Atlas 300I Duo 推理卡:支持的卡数为1。
  • FP16:支持
  • BF16:不支持
  • 文本
  • 图片