Initialize
函数功能
初始化LLM-DataDist。
函数原型
1 | Status Initialize(const std::map<AscendString, AscendString> &options) |
参数说明
参数名 |
输入/输出 |
描述 |
---|---|---|
options |
输入 |
初始化参数值。具体请参考表1。 |
参数名 |
可选/必选 |
描述 |
||
---|---|---|---|---|
OPTION_LISTEN_IP_INFO |
Pormpt必选 |
设置为Device的IP地址和端口,如"192.168.1.1:26000", 单进程多卡场景,传入多个用;分割。 |
||
OPTION_DEVICE_ID |
必选 |
设置当前进程的Device ID,如"0",单进程多卡场景,传入多个用;分割。 |
||
OPTION_SYNC_CACHE_WAIT_TIME |
可选 |
kv相关操作的超时时间,单位:ms。不配置默认为1000ms。相关接口: |
||
OPTION_BUF_POOL_CFG |
可选 |
配置内存池,可设置内存池大小与档位信息,提高内存申请性能和使用率。格式为json string,见表2,如:
|
||
OPTION_ENABLE_SET_ROLE |
可选 |
配置是否支持角色平滑切换。"1": 支持; "0": 不支持,不配置默认为不支持。相关接口:SetRole |
返回值
- LLM_SUCCESS: 成功
- LLM_PARAM_INVALID: 参数错误
- 其他:失败
异常处理
无。
父主题: LlmDataDist接口