UnlinkClusters
函数功能
进行device间断链。
函数原型
ge::Status UnlinkClusters(const std::vector<ClusterInfo> &clusters, std::vector<ge::Status> &rets, const int32_t timeout = -1)
参数说明
参数名 |
输入/输出 |
描述 |
---|---|---|
clusters |
输入 |
需要断链的cluster信息。类型为ClusterInfo。 |
timeout |
输入 |
断链超时时间,单位ms。默认超时-1,超时时间设置小于0,实际每个device的超时时间为3s。 |
rets |
输出 |
每个cluster断链结果。 |
返回值
- SUCCESS: 只有所有clusters断链成功,接口才会返回成功。
- 其他: 执行推理失败,需要查看rets每个cluster的断链结果。
异常处理
- LLM_PROCESSING_LINK:接口有锁保护,一个llm engine多线程调用断链接口会串行执行,其他线程等待时间超过设置的超时时间会报错退出
- LLM_UNLINK_FAILED:断链失败。
约束说明
需要在LLMEngineIntialize或者LLMEngineIntializeV2接口初始化完成后调用。
父主题: LLMEngine