LLMStatusCode
枚举值 |
含义 |
是否可恢复 |
解决办法 |
---|---|---|---|
LLM_SUCCESS |
成功 |
无 |
无 |
LLM_FAILED |
通用失败 |
否 |
保留现场,获取Host/Device日志,并备份。 |
LLM_PARAM_INVALID |
参数错误 |
是 |
基于日志排查错误原因 |
LLM_KV_CACHE_NOT_EXIST |
KV不存在 |
是 |
|
LLM_REPEAT_REQUEST |
重复请求 |
是 |
检查是否存在重复调用。 |
LLM_NOT_YET_LINK |
没有建链 |
是 |
上层排查decoder与prompt建联情况。 |
LLM_ALREADY_LINK |
已经建过链 |
是 |
上层排查decoder与prompt建联情况。 |
LLM_LINK_FAILED |
建链失败 |
是 |
link_clusters第二个返回值中有改错误码时,需要检查对应集群之间的网络连接。 |
LLM_UNLINK_FAILED |
断链失败 |
是 |
unlink_clusters第二个返回值中有改错误码时,需要检查对应集群之间的网络连接。 |
LLM_NOTIFY_PROMPT_UNLINK_FAILED |
通知prompt侧断链 |
是 |
|
LLM_CLUSTER_NUM_EXCEED_LIMIT |
集群数量超过限制 |
是 |
排查API传入参数,clusters数量不能超过16。 |
LLM_PROCESSING_LINK |
正在处理建链 |
是 |
当前link和unlink正在执行,请稍后再试。 |
LLM_PREFIX_ALREADY_EXIST |
前缀已经存在 |
是 |
检查是否已加载过相同Prefix Id的公共前缀。如果是,需要先释放。 |
LLM_PREFIX_NOT_EXIST |
前缀不存在 |
是 |
检查Request中的Prefix Id是否已加载过。 |
LLM_DEVICE_OUT_OF_MEMORY |
device内存不足 |
是 |
检查申请的内存是否没有释放 |
LLM_EXIST_LINK |
switch_role时,存在未释放的链接 |
是 |
检查在switch_role前是否已经调用unlink_clusters断开所有的链接 |
LLM_FEATURE_NOT_ENABLED |
特性未使能 |
是 |
检查初始化LLMDistDist时是否传入了必要option: 如果是switch_role时抛出该异常,排查初始化时LLMConfig是否设置了enable_switch_role = True |
LLM_UNKNOWN_ERROR |
未知错误 |
否 |
保留现场,获取Host/Device日志,并备份。 |