新增特性
组件 |
描述 |
目的 |
---|---|---|
Ascend Extension for PyTorch(即torch-npu) |
一级流水优化 |
进一步优化下发性能。 |
支持foreach优化器 |
相比关闭foreach性能有提升或不变。 |
|
支持基于ranktable file进行集合通信域建链 |
缩短在大集群下通信域建链的耗时。 |
|
新增支持PyTorch 2.4.0 |
通用能力,与社区同步发布版本。 |
|
新增支持Python 3.11 |
通用能力。 |
|
PyTorch 2.1.0及以上版本支持TCPStore建链优化 |
缩短TCPStore建链的耗时。 |
|
通用能力,跟随社区图模式能力。 |
||
MindSpeed-LLM(ModelLink) |
支持非共享储存情况下非主节点数据缓存检测和生成 |
解决无共享存储时数据只在首节点生成需要手工同步的痛点。 |
支持确定性计算 |
支持通过配置开启确定性计算,辅助问题定位。 |
|
支持SFT全参微调 |
Mcore支持SFT全参微调。 |
|
支持LoRA微调 |
Mcore支持Lora微调。 |
|
MindSpeed |
兼容Megatron-LM core_r0.7.0 |
从计算性能、内存资源、通信性能及并行算法等多个维度,全面提升大模型训练的效率与稳定性。 |
支持MoE激活函数重计算 |
||
支持Hybrid混合长序列并行 |
||
长序列支持压缩Alibi编码 |
||
支持重计算流水线独立调度(RI-Pipe) |
||
支持NanoPipe流水并行 |