下载
中文
注册

新增特性

组件

描述

目的

Ascend Extension for PyTorch(即torch-npu)

一级流水优化

进一步优化下发性能。

支持foreach优化器

相比关闭foreach性能有提升或不变。

支持基于ranktable file进行集合通信域建链

缩短在大集群下通信域建链的耗时。

新增支持PyTorch 2.4.0

通用能力,与社区同步发布版本。

新增支持Python 3.11

通用能力。

PyTorch 2.1.0及以上版本支持TCPStore建链优化

缩短TCPStore建链的耗时。

新增支持图模式部分特性(具体可参见PyTorch 图模式使用指南(TorchAir)

通用能力,跟随社区图模式能力。

MindSpeed-LLM(ModelLink)

支持非共享储存情况下非主节点数据缓存检测和生成

解决无共享存储时数据只在首节点生成需要手工同步的痛点。

支持确定性计算

支持通过配置开启确定性计算,辅助问题定位。

支持SFT全参微调

Mcore支持SFT全参微调。

支持LoRA微调

Mcore支持Lora微调。

MindSpeed

兼容Megatron-LM core_r0.7.0

从计算性能、内存资源、通信性能及并行算法等多个维度,全面提升大模型训练的效率与稳定性。

支持MoE激活函数重计算

支持Hybrid混合长序列并行

长序列支持压缩Alibi编码

支持重计算流水线独立调度(RI-Pipe)

支持NanoPipe流水并行