swap_cache接口

接口功能

NPU和CPU的KV Cache换入换出接口。（属于内部调度接口，暂不支持对外功能。）

接口实现

def swap_cache(self, swap_decision):
        swap_decision_tensor = torch.tensor(swap_decision, dtype=torch.int64, device=self.device)
        self.cache_pool.swap_cache(swap_decision_tensor)

参数说明