下载
中文
注册
什么是 MindSpeed__

基于昇腾硬件的分布式训练加速套件,提供多维度加速算法,支持主流大语言、多模态大模型。

面向大模型全流程加速,降低开发门槛,获得最优开箱性能

业务系统

分布式
训练加速套件
MindSpeed
大模型套件
MindSpeed LLM
MindSpeed MM
加速模块
MindSpeed Core
AI框架
昇腾系列硬件

MindSpeed LLM

针对昇腾硬件推出的大语言模型套件。提供了开箱即用的主流开源大模型,支持全参微调、低参微调、偏好对齐等算法,提升用户在昇腾硬件上高效、便捷地开发与使用大型语言模型的能力。

Gitee

MindSpeed MM

针对昇腾硬件推出的多模态模型套件。提供丰富的数据工程能力,包括了多模态数据预处理、模态编码、多模数据对齐及融合,并预置了图像生成、视频生成、图文理解等多模态大模型及任务,支持开箱即用及灵活组装开发。

Gitee

关键特性

长序列分布式训练加速
MindSpeed多维优化,支持百万级长序列训练
  • 并行优化同时支持三种上下文并行算法 兼容MoE专家并行
  • 计算优化支持Flash Attention
  • 内存优化ALiBi、Reset Attention Mask压缩
  • 通信优化P2P分流并发

开发场景

大语言模型
主流大语言模型开箱即用,数据预处理、训练、微调、偏好对齐全流程支持。
多模态模型
预置多模态理解与生成领域主流模型,实现开箱即用,并提供了丰富的多模态数据处理功能以及大规模分布式训练能力,支持灵活组装搭建定制模型。