评分

提单

论坛

小AI

torch.distributed

Initialization

表1 Initialization
序号	API名称	是否支持
1	torch.distributed.init_process_group	是
2	torch.distributed.Backend	是
3	torch.distributed.get_backend	是
4	torch.distributed.get_rank	是
5	torch.distributed.get_world_size	是
6	torch.distributed.is_initialized	是
7	torch.distributed.is_mpi_available	是
8	torch.distributed.is_nccl_available	是

Groups

表2 Groups
序号	API名称	是否支持
1	torch.distributed.new_group	是

Point-to-point communication

表3 Point-to-point communication
序号	API名称	是否支持
1	torch.distributed.send	否
2	torch.distributed.recv	否
3	torch.distributed.isend	否
4	torch.distributed.irecv	否

Synchronous and asynchronous collective operations

表4 Synchronous and asynchronous collective operations
序号	API名称	是否支持
1	is_completed	是
2	wait	是

Collective functions

表5 Collective functions
序号	API名称	是否支持
1	torch.distributed.broadcast	是
2	torch.distributed.all_reduce	是
3	torch.distributed.reduce	否
4	torch.distributed.all_gather	是
5	torch.distributed.gather	否
6	torch.distributed.scatter	否
7	torch.distributed.barrier	是
8	torch.distributed.ReduceOp	是
9	torch.distributed.reduce_op	是

Multi-GPU collective functions

表6 Multi-GPU collective functions
序号	API名称	是否支持
1	torch.distributed.broadcast_multigpu	否
2	torch.distributed.all_reduce_multigpu	否
3	torch.distributed.reduce_multigpu	否
4	torch.distributed.all_gather_multigpu	否

Launch utility

表7 Launch utility
序号	API名称	是否支持
1	torch.distributed.launch	是

Spawn utility

表8 Spawn utility
序号	API名称	是否支持
1	torch.multiprocessing.spawn	是

父主题： PyTorch1.5.0