ge_options
函数功能
配置额外的GE配置项。
函数原型
ge_options(ge_options)
参数说明
参数名称 |
数据类型 |
取值说明 |
|---|---|---|
ge_options |
dict[str, str] |
配置GE配置项。 其中ge.flowGraphMemMaxSize比较重要，表示所有KV cache占用的最大内存，如果设置的过大，会压缩模型的可用内存，需根据实际情况指定。 |
调用示例
from llm_datadist import LLMConfig
ge_options = {
"ge.flowGraphMemMaxSize": "4106127360"
}
llm_config = LLMConfig()
llm_config.ge_options = ge_options
返回值
无
约束说明
无
父主题： LLMConfig
