文档
注册

LinkClusters

函数功能

进行device间建链。

函数原型

ge::Status LinkClusters(const std::vector<ClusterInfo> &clusters, std::vector<ge::Status> &rets, const int32_t timeout = -1);

参数说明

参数名

输入/输出

描述

clusters

输入

需要建链的cluster信息。类型为ClusterInfo

timeout

输入

建链超时时间,单位ms。默认超时-1,超时时间设置小于0,实际每个device的超时时间为3s。

rets

输出

每个cluster建链结果。

返回值

  • SUCCESS: 只有所有clusters建链成功,接口才会返回成功。
  • 其他: 执行推理失败,需要查看rets每个cluster的建链结果。

异常处理

  • LLM_PROCESSING_LINK:接口有锁保护,一个LLM Engine多线程调用建链接口会串行执行,其他线程等待时间超过设置的超时时间会报错退出。
  • LLM_ALREADY_LINK:增量的cluster已经和全量cluster建立了连接。
  • LLM_LINK_FAILED:建链失败。
  • LLM_CLUSTER_NUM_EXCEED_LIMIT:建链cluster数量超过上限,当前是16个。

约束说明

需要在LLMEngineIntialize或者LLMEngineIntializeV2接口初始化完成后调用,只在client侧(也就是增量llm engine)调用。

搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词