update_cache_after_switch_pd_role接口

接口功能

更新NPU上的KV Cache。

接口实现

def update_cache_after_switch_pd_role(self):
    self.cache_pool.allocate_npu_cache()