非连续的Tensor

目前大部分算子API的输入Tensor支持“非连续的Tensor”，即一个Tensor可以通过(shape, strides, offset)表示。

示例1

例如现有一个shape=(6, 5)、strides=(10, 1)、offset=22的Tensor，其内存排布如下：

a_0,0 , a_0,1 , a_0,2 , a_0,3 , a_0,4 , a_0,5 , a_0,6 , a_0,7 , a_0,8 , a_0,9
a_1,0 , a_1,1 , a_1,2 , a_1,3 , a_1,4 , a_1,5 , a_1,6 , a_1,7 , a_1,8 , a_1,9
a_2,0 , a_2,1 , a_2,2 , a_2,3 , a_2,4 , a_2,5 , a_2,6 , a_2,7 , a_2,8 , a_2,9
a_3,0 , a_3,1 , a_3,2 , a_3,3 , a_3,4 , a_3,5 , a_3,6 , a_3,7 , a_3,8 , a_3,9
a_4,0 , a_4,1 , a_4,2 , a_4,3 , a_4,4 , a_4,5 , a_4,6 , a_4,7 , a_4,8 , a_4,9
a_5,0 , a_5,1 , a_5,2 , a_5,3 , a_5,4 , a_5,5 , a_5,6 , a_5,7 , a_5,8 , a_5,9
a_6,0 , a_6,1 , a_6,2 , a_6,3 , a_6,4 , a_6,5 , a_6,6 , a_6,7 , a_6,8 , a_6,9
a_7,0 , a_7,1 , a_7,2 , a_7,3 , a_7,4 , a_7,5 , a_7,6 , a_7,7 , a_7,8 , a_7,9
a_8,0 , a_8,1 , a_8,2 , a_8,3 , a_8,4 , a_8,5 , a_8,6 , a_8,7 , a_8,8 , a_8,9
a_9,0 , a_9,1 , a_9,2 , a_9,3 , a_9,4 , a_9,5 , a_9,6 , a_9,7 , a_9,8 , a_9,9

即该Tensor排布如上图的深色位置。这个完整的Tensor在内存排布上是不连续的，strides描述Tensor维度上相邻两个元素的间隔，如果在维度1上的stride为1， 该维度是连续的；如果在维度0上的stride为10，那么相邻的元素间隔10个元素，即非连续。offset表示这个Tensor的首元素相对addr的偏移。

示例2

例如现有一个shape=(4, 3)、strides=(20, 2)、offset=22的Tensor，其内存排布如下：

a_0,0 , a_0,1 , a_0,2 , a_0,3 , a_0,4 , a_0,5 , a_0,6 , a_0,7 , a_0,8 , a_0,9
a_1,0 , a_1,1 , a_1,2 , a_1,3 , a_1,4 , a_1,5 , a_1,6 , a_1,7 , a_1,8 , a_1,9
a_2,0 , a_2,1 , a_2,2 , a_2,3 , a_2,4 , a_2,5 , a_2,6 , a_2,7 , a_2,8 , a_2,9
a_3,0 , a_3,1 , a_3,2 , a_3,3 , a_3,4 , a_3,5 , a_3,6 , a_3,7 , a_3,8 , a_3,9
a_4,0 , a_4,1 , a_4,2 , a_4,3 , a_4,4 , a_4,5 , a_4,6 , a_4,7 , a_4,8 , a_4,9
a_5,0 , a_5,1 , a_5,2 , a_5,3 , a_5,4 , a_5,5 , a_5,6 , a_5,7 , a_5,8 , a_5,9
a_6,0 , a_6,1 , a_6,2 , a_6,3 , a_6,4 , a_6,5 , a_6,6 , a_6,7 , a_6,8 , a_6,9
a_7,0 , a_7,1 , a_7,2 , a_7,3 , a_7,4 , a_7,5 , a_7,6 , a_7,7 , a_7,8 , a_7,9
a_8,0 , a_8,1 , a_8,2 , a_8,3 , a_8,4 , a_8,5 , a_8,6 , a_8,7 , a_8,8 , a_8,9
a_9,0 , a_9,1 , a_9,2 , a_9,3 , a_9,4 , a_9,5 , a_9,6 , a_9,7 , a_9,8 , a_9,9

即该Tensor排布如上图的深色位置。这个完整的Tensor在内存排布上是不连续的，strides描述Tensor维度上相邻两个元素的间隔，如果在维度1上的stride为2， 该维度上间隔1个元素；如果在维度0上的stride为20，那么相邻的元素间隔20个元素，即非连续。offset表示这个Tensor的首元素相对addr的偏移。