mem_pool_cfg
函数功能
在开启CacheManager场景下,配置内存池相关配置项。
函数原型
mem_pool_cfg(mem_pool_cfg)
参数说明
参数名称 |
数据类型 |
取值说明 |
---|---|---|
mem_pool_cfg |
string |
json数组格式字符串,包含memory_size, page_shift。 |
配置项 |
可选/必选 |
描述 |
---|---|---|
memory_size |
必选 |
当前内存池的大小,类型为int, 大于0,单位为Byte。 |
page_shift |
可选 |
page_size的位移量,用于计算page_size。分配内存时会对齐到page_size的倍数,需要根据实际场景设置为合适的大小。 类型为int, 取值范围为[10, 31)。 例如:page_shift = 16时, page_size为1<<16=65536。 默认值为16。 |
调用示例
from llm_datadist import LLMConfig llm_config = LLMConfig() llm_config.mem_pool_cfg= "{\"memory_size\": 18737418240, \"page_shift\": 16}"
返回值
无
约束说明
无
父主题: LLMConfig