为确保MindSpeed在昇腾设备上实现大模型训练的全方位加速与优化，以下特性列表概述了关键功能与优势，旨在从计算性能、内存资源、通信性能、并行算法以及差异化能力支持等多个维度，全面提升大模型训练的效率与稳定性。
特性类别 |
特性说明 |
特性名称 |
Mcore |
Legacy |
|---|---|---|---|---|
并行算法优化 |
提供昇腾亲和的多维度并行加速 |
|
|
|
|
|
|||
|
|
|||
|
|
|||
|
|
|||
|
|
|||
|
|
|||
|
|
|||
|
|
|||
内存资源优化 |
支持高效内存算法，最大化性能无损 |
|
|
|
|
|
|||
|
|
|||
|
|
|||
|
|
|||
|
|
|||
|
|
|||
通信性能优化 |
发挥极致通信性能，实现计算与通信并行 |
|
|
|
|
|
|||
|
|
|||
|
|
|||
|
|
|||
|
|
|||
|
|
|||
AlltoAll Dispatcher并行优化（敬请期待） |
- |
- |
||
计算性能优化 |
全场景高性能融合算子加速库，昇腾亲和优化 |
|
|
|
|
|
|||
|
|
|||
|
|
|||
|
|
|||
|
|
|||
|
|
|||
|
|
|||
|
|
|||
差异化能力支持 |
在长序列、权重保存、并行策略自动搜索等场景提供差异化能力 |
|
|
|
|
|
|||
|
|
|||
|
|
- 目前MindSpeed支持Megatron MoE和Deepspeed MoE两种实现，可通过如下参数进行配置。
--moe-model-type deepspeed_moe # 使用DeepSpeed MoE实现方案 --moe-model-type megatron_moe # 使用Megatron MoE实现方案
- Mcore为当前主要演进分支，推荐使用。Mcore相较于Legacy，采用更加解耦和模块化的设计，提供更灵活的接口和底层功能，特别适合需要自定义训练过程的用户。
- Legacy以功能维护为主，不继续演进。