on_cache_deallocated
函数功能
当ModelRunner关联的Decoder LLMModel释放了KvCache后回调。
函数原型
on_cache_deallocated(kv_cache: KvCache)
参数说明
参数名称 |
数据类型 |
取值说明 |
|---|---|---|
kv_cache |
KvCache |
KvCache。 |
调用示例
该接口不由用户直接调用，而是作为回调由LLMModel调用。
返回值
无
约束说明
无
父主题： ModelRunner
