在LLM-DataDist初始化时会预申请一块指定大小的内存池,由OPTION_BUF_POOL_CFG配置项决定其大小,后续的KV Cache的内存申请及释放都在预申请的内存上进行,相比每次执行时申请一块cache内存,可以节省耗时。 KV Cache管理涉及的主要接口及功能如下: 接口名称 功能 AllocateCache 分配Cache。 DeallocateCache 释放Cache。 PullKvCache 从远端节点拉取Cache到本地Cache,仅当角色为Decoder时可调用。 PullKvBlocks PA场景下通过block列表的方式,从远端节点拉取Cache到本地Cach
torch_npu.npu_format_cast_(self, src) -> Tensor 功能描述原地修改self张量格式,与src格式保持一致。src,即source tensor,源张量。