on_cache_allocated

函数功能

当ModelRunner关联的Decoder LLMModel分配了KvCache后回调。

由于Decoder每次推理都使用相同的KvCache，所以可以通过该回调提前准备KvCache对应的Tensor，避免重复转换，从而提升性能。

默认实现为空。

函数原型

on_cache_allocated(kv_cache: KvCache)

参数说明

调用示例

该接口不由用户直接调用，而是作为回调由LLMModel调用。

返回值

无

约束说明

无