加速库支持模型列表
当前大模型推理迁移与优化方案适用于以下模型,模型README目录请参考“${working_dir}/atb_models/examples/models/{model_name}/README.md”:
- 支持transformers like API,提供model.generate接口
- Llama(Llama-7B, Llama-13B, Llama-65B, Llama2-7B, Llama2-13B, Llama2-70B)
- 基于page_attention+continuous_batching,支持服务化调度,提供model.forward接口
- Starcoder-15.5B
- Chatglm2-6B
- CodegeeX2-6B
- Baichuan2(Baichuan2-7B, Baichuan2-13B)
- Qwen(Qwen-14B, Qwen-72B)
- Aquila(Aquila-7B)
- Deepseek(Deepseek16B)
- Mixtral(Mixtral8 * 7B)
- Bloom-7B
- Baichuan1(Baichuan1-7B, Baichuan1-13B)
- CodeLlama(CodeLlama-13B)
- Yi(Yi-6B-200K, Yi-34B)
- Chinese Alpaca(Chinese-Alpaca-13B)
父主题: 基于高性能算子加速库迁移适配模型