mem_utilization
函数功能
在KvCache管理模式下，配置ge.flowGraphMemMaxSize内存的利用率。默认值0.95。
函数原型
mem_utilization(mem_utilization)
参数说明
参数名称 |
数据类型 |
取值说明 |
|---|---|---|
mem_utilization |
float |
内存利用率。默认值0.95。取值范围0.0~1.0。 |
调用示例
from llm_datadist import LLMConfig llm_config = LLMConfig() llm_config.mem_utilization = 0.95
返回值
无
约束说明
配合check_capacity接口使用。
父主题： LLMConfig