CacheDesc
函数功能
构造CacheDesc。
函数原型
CacheDesc(num_tensors: int, shape: Union[Tuple[int], List[int]], data_type: DataType)
参数说明
参数名称 |
数据类型 |
取值说明 |
|---|---|---|
num_tensors |
int |
Cache中tensor的个数, 操作Cache时, 所有tensor会做同样的操作。 |
shape |
Union[Tuple[int], List[int]] |
tensor的shape。 |
data_type |
DataType |
tensor的data type。 |
调用示例
from llm_datadist import CacheDesc cache_desc = CacheDesc(80, [4, 2048, 1, 128], DataType.DT_FLOAT16)
返回值
正常场景下无返回值。
传入数据类型错误情况下会抛出TypeError异常。
约束说明
无
