torch.distributed
若API“是否支持”为“是”，“限制与说明”为空，说明此API和原生API支持度保持一致。
API名称 |
是否支持 |
限制与说明 |
|---|---|---|
torch.distributed.is_available |
是 |
|
torch.distributed.init_process_group |
是 |
|
torch.distributed.is_initialized |
是 |
|
torch.distributed.is_mpi_available |
是 |
|
torch.distributed.is_nccl_available |
是 |
|
torch.distributed.is_gloo_available |
是 |
|
torch.distributed.is_torchelastic_launched |
是 |
|
torch.distributed.Backend |
是 |
|
torch.distributed.get_backend |
是 |
|
torch.distributed.get_rank |
是 |
|
torch.distributed.get_world_size |
是 |
|
torch.distributed.Store |
是 |
|
torch.distributed.TCPStore |
是 |
|
torch.distributed.HashStore |
是 |
|
torch.distributed.FileStore |
是 |
|
torch.distributed.PrefixStore |
是 |
|
torch.distributed.Store.set |
是 |
|
torch.distributed.Store.get |
是 |
|
torch.distributed.Store.add |
是 |
|
torch.distributed.Store.compare_set |
是 |
|
torch.distributed.Store.wait |
是 |
|
torch.distributed.Store.num_keys |
是 |
|
torch.distributed.Store.delete_key |
是 |
|
torch.distributed.Store.set_timeout |
是 |
|
torch.distributed.new_group |
是 |
|
torch.distributed.get_group_rank |
是 |
|
torch.distributed.get_global_rank |
是 |
|
torch.distributed.get_process_group_ranks |
是 |
|
torch.distributed.send |
是 |
支持bf16，fp16，fp32，fp64，uint8，int8，int16，int32，int64，bool |
torch.distributed.recv |
是 |
支持bf16，fp16，fp32，fp64，uint8，int8，int16，int32，int64，bool |
torch.distributed.isend |
是 |
支持bf16，fp16，fp32，fp64，uint8，int8，int16，int32，int64，bool |
torch.distributed.irecv |
是 |
支持bf16，fp16，fp32，fp64，uint8，int8，int16，int32，int64，bool |
torch.distributed.batch_isend_irecv |
是 |
支持bf16，fp16，fp32，fp64，uint8，int8，int16，int32，int64，bool |
torch.distributed.P2POp |
是 |
支持bf16，fp16，fp32，fp64，uint8，int8，int16，int32，int64，bool |
torch.distributed.broadcast |
是 |
支持bf16，fp16，fp32，fp64，uint8，int8，int16，int32，int64，bool |
torch.distributed.broadcast_object_list |
是 |
|
torch.distributed.all_reduce |
是 |
支持fp16， fp32， int32， int64， bool |
torch.distributed.reduce |
是 |
支持bf16，fp16，fp32，uint8，int8，int32，int64，bool |
torch.distributed.all_gather |
是 |
支持bf16，fp16，fp32，int8，int32，bool |
torch.distributed.all_gather_into_tensor |
是 |
支持bf16，fp16，fp32，int8，int32，bool world size不支持3，5，6，7 |
torch.distributed.all_gather_object |
是 |
|
torch.distributed.gather |
是 |
支持bf16，fp16，fp32，int8，int32，bool |
torch.distributed.gather_object |
是 |
支持的输入类型为Python Object对象 |
torch.distributed.scatter |
是 |
支持bf16，fp16，fp32，fp64，uint8，int8，int16，int32，int64，bool |
torch.distributed.scatter_object_list |
是 |
不涉及dtype参数 |
torch.distributed.reduce_scatter |
是 |
支持bf16，fp16，fp32，int8，int32 |
torch.distributed.reduce_scatter_tensor |
是 |
支持bf16，fp16，fp32，int8，int32 world size不支持3，5，6，7 |
torch.distributed.all_to_all_single |
是 |
支持fp32 |
torch.distributed.all_to_all |
是 |
支持fp32 |
torch.distributed.barrier |
是 |
|
torch.distributed.ReduceOp |
是 |
支持bf16，fp16，fp32，uint8，int8，int32，int64，bool |
torch.distributed.reduce_op |
是 |
支持bf16，fp16，fp32，uint8，int8，int32，int64，bool |
torch.distributed.DistBackendError |
是 |