下载
中文
注册

mem_pool_cfg

函数功能

在开启CacheManager场景下,配置内存池相关配置项。

函数原型

mem_pool_cfg(mem_pool_cfg)

参数说明

参数名称

数据类型

取值说明

mem_pool_cfg

string

json数组格式字符串,包含memory_size, page_shift。

配置项

可选/必选

描述

memory_size

必选

当前内存池的大小,类型为int, 大于0,单位为Byte。

page_shift

可选

page_size的位移量,用于计算page_size。分配内存时会对齐到page_size的倍数,需要根据实际场景设置为合适的大小。

类型为int, 取值范围为[10, 31)。

例如:page_shift = 16时, page_size为1<<16=65536。

默认值为16。

调用示例

from llm_datadist import LLMConfig
llm_config = LLMConfig()
llm_config.mem_pool_cfg= "{\"memory_size\": 18737418240, \"page_shift\": 16}"

返回值

约束说明