特性列表

并行算法优化

提供昇腾亲和的多维度并行加速

• Megatron数据并行
• Megatron张量并行
• Megatron序列并行
• Megatron流水线并行
• Megatron虚拟流水并行
• Nano-Pipe流水线并行
• Ulysses长序列并行
• Ring Attention长序列并行
• Hybrid长序列并行

内存资源优化

支持高效内存算法，最大化性能无损

• Megatron重计算
• Megatron分布式优化器
• 内存碎片优化
• 自适应选择重计算
• 激活函数重计算
• 重计算流水独立调度
• 参数副本复用
• 负载感知内存均衡算法（敬请期待）

通信性能优化

发挥极致通信性能，实现计算与通信并行

• Megatron异步DDP
• TP重计算通信优化
• 计算通信并行优化
• Megatron权重更新通信隐藏
• Ampipe流水通信隐藏
• MLP通信隐藏
• AllGather Dispatcher并行优化（敬请期待）
• AlltoAll Dispatcher并行优化（敬请期待）
• MoE Token Dropless性能优化（敬请期待）

计算性能优化

全场景高性能融合算子加速库，昇腾亲和优化

• DropoutAddLayerNorm融合优化
• Flash Attention融合优化
• RMSNorm融合优化
• SwiGLU融合优化
• RoPE融合优化
• MoE Token重排性能优化
• MoE GMM算子优化（敬请期待）

关键场景

额外支持的重要训练场景

Alibi位置编码