下载
中文
注册

Initialize

函数功能

初始化LLM-DataDist。

函数原型

1
Status Initialize(const std::map<AscendString, AscendString> &options)

参数说明

参数名

输入/输出

描述

options

输入

初始化参数值。具体请参考表1

表1 options

参数名

可选/必选

描述

OPTION_LISTEN_IP_INFO

Pormpt必选

设置为Device的IP地址和端口,如"192.168.1.1:26000", 单进程多卡场景,传入多个用;分割。

OPTION_DEVICE_ID

必选

设置当前进程的Device ID,如"0",单进程多卡场景,传入多个用;分割。

OPTION_SYNC_CACHE_WAIT_TIME

可选

kv相关操作的超时时间,单位:ms。不配置默认为1000ms。相关接口:

AllocateCache

DeallocateCache

PullKvCache

PullKvBlocks

OPTION_BUF_POOL_CFG

可选

配置内存池,可设置内存池大小与档位信息,提高内存申请性能和使用率。格式为json string,见表2,如:

1
2
3
4
{
"buf_cfg":[{"total_size":2097152,"blk_size":256,"max_buf_size":8192}],
"buf_pool_size": 2147483648
}

OPTION_ENABLE_SET_ROLE

可选

配置是否支持角色平滑切换。"1": 支持; "0": 不支持,不配置默认为不支持。相关接口:SetRole

表2 OPTION_BUF_POOL_CFG配置

配置项

可选/必选

描述

buf_cfg

可选

内存池档位配置,详见表3

buf_pool_size

可选

内存池大小,单位为byte。

表3 buf_cfg配置

配置项

可选/必选

描述

total_size

必选

当前档位内存池的大小,单位byte。

说明:

total_size是2M的倍数,且total_size是blk_size的倍数,最大值不应超过0xFFFFFFFF。

blk_size

必选

当前档位一次可以申请的最小内存值,单位byte。

说明:

要求满足2^n,且在(0,2M]之间,小于或等于max_buf_size。

max_buf_size

必选

当前档位一次可以申请的最大内存值,单位byte。

说明:

小于total_size,max_buf_size必须保持严格递增。

返回值

  • LLM_SUCCESS: 成功
  • LLM_PARAM_INVALID: 参数错误
  • 其他:失败

异常处理

无。

约束说明

需要和Finalize配对使用,初始化成功后,任何退出前都需要调用Finalize保证资源释放,否则会出现资源释放顺序不符合预期而导致问题。