CacheDesc

构造CacheDesc。

CacheDesc(num_tensors: int, shape: Union[Tuple[int], List[int]], data_type: DataType)

参数名称	数据类型	取值说明
num_tensors	int	Cache中tensor的个数, 操作Cache时, 所有tensor会做同样的操作。
shape	Union[Tuple[int], List[int]]	tensor的shape。
data_type	DataType	tensor的data type。

from llm_datadist import CacheDesc
cache_desc = CacheDesc(80, [4, 2048, 1, 128], DataType.DT_FLOAT16)

正常场景下无返回值。

传入数据类型错误情况下会抛出TypeError异常。

无