LinkClusters
函数功能
进行device间建链。
函数原型
ge::Status LinkClusters(const std::vector<ClusterInfo> &clusters, std::vector<ge::Status> &rets, const int32_t timeout = -1);
参数说明
参数名 |
输入/输出 |
描述 |
|---|---|---|
clusters |
输入 |
需要建链的cluster信息。类型为ClusterInfo。 |
timeout |
输入 |
建链超时时间，单位ms。默认超时-1，超时时间设置小于0，实际每个device的超时时间为3s。 |
rets |
输出 |
每个cluster建链结果。 |
返回值
- SUCCESS: 只有所有clusters建链成功，接口才会返回成功。
- 其他: 执行推理失败，需要查看rets每个cluster的建链结果。
异常处理
- LLM_PROCESSING_LINK：接口有锁保护，一个LLM Engine多线程调用建链接口会串行执行，其他线程等待时间超过设置的超时时间会报错退出。
- LLM_ALREADY_LINK：增量的cluster已经和全量cluster建立了连接。
- LLM_LINK_FAILED：建链失败。
- LLM_CLUSTER_NUM_EXCEED_LIMIT：建链cluster数量超过上限，当前是16个。
约束说明
需要在LLMEngineIntialize或者LLMEngineIntializeV2接口初始化完成后调用，只在client侧（也就是增量llm engine）调用。
父主题： LLMEngine
