get_cache_tensors
函数功能
获取cache tensor。
函数原型
get_cache_tensors(cache: KvCache, tensor_index: int = 0) -> List[Tensor]
参数说明
参数名称 |
数据类型 |
取值说明 |
|---|---|---|
cache |
要获取的tensor所在的KvCache。 |
|
tensor_index |
int |
要获取的tensor在Cache中的index。 |
调用示例
tensors = kv_cache_manager.get_cache_tensors(cache, 0)
返回值
正常情况下返回List[Tensor]。
传入数据类型错误情况下会抛出TypeError或ValueError异常。
执行时间超过sync_kv_timeout配置会抛出LLMException异常。
约束说明
无
父主题： KvCacheManager
