文档
注册

加速库支持模型列表

当前大模型推理迁移与优化方案适用于以下模型,模型README目录请参考“${working_dir}/atb_models/examples/models/{model_name}/README.md”

  • 支持transformers like API,提供model.generate接口
    • Llama(Llama-7B, Llama-13B, Llama-65B, Llama2-7B, Llama2-13B, Llama2-70B)
  • 基于page_attention+continuous_batching,支持服务化调度,提供model.forward接口
    • Starcoder-15.5B
    • Chatglm2-6B
    • CodegeeX2-6B
    • Baichuan2(Baichuan2-7B, Baichuan2-13B)
    • Qwen(Qwen-14B, Qwen-72B)
    • Aquila(Aquila-7B)
    • Deepseek(Deepseek16B)
    • Mixtral(Mixtral8 * 7B)
    • Bloom-7B
    • Baichuan1(Baichuan1-7B, Baichuan1-13B)
    • CodeLlama(CodeLlama-13B)
    • Yi(Yi-6B-200K, Yi-34B)
    • Chinese Alpaca(Chinese-Alpaca-13B)
搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词