check_link_status
函数功能
在KvCache管理模式下，调用此接口可快速检测链路状态是否正常。
函数原型
check_link_status(remote_cluster_id: int)
参数说明
参数名称 |
数据类型 |
取值说明 |
|---|---|---|
remote_cluster_id |
int |
远程集群ID。 |
调用示例
1 2 3 4 5 6 7 8 9 10 | from llm_datadist import LLMDataDist, LLMRole, LLMStatusCode, LLMClusterInfo ... try: data_dist.check_link_status(remote_cluster_id=0) except LLMException as ex: print(f"check_link_status exception:{ex.status_code}") raise ex kv_cache_manager = data_dist.kv_cache_manager ... kv_cache_manager.pull_cache(prompt_cache_key, local_kv_cache, batch_index=0) |
返回值
正常情况下无返回值。
运行失败会抛出LLMException异常。
参数错误可能抛出TypeError或ValueError。
约束说明
建议调用失败时，需持续调用该接口直至成功，才能调用pull_cache、pull_blocks等接口。
如果和pull_cache、pull_blocks等接口并发，可能抛出LLMException异常，错误码为LLM_LINK_BUSY。
超时时间由llm.SyncKvCacheWaitTime配置项指定。
父主题： LLMDataDist