下载
中文
注册

LLMStatusCode

枚举值

含义

是否可恢复

解决办法

LLM_SUCCESS

成功

无。

LLM_FAILED

通用失败

保留现场,获取Host/Device日志,并备份。

LLM_PARAM_INVALID

参数错误

基于日志排查错误原因。

LLM_KV_CACHE_NOT_EXIST

KV不存在

  • 检查对应全量侧报错日志中的请求是否完成。
  • 检查是否存在重复拉取。

LLM_REPEAT_REQUEST

重复请求

检查是否存在重复调用。

LLM_NOT_YET_LINK

没有建链

上层排查decoder与prompt建链情况。

LLM_ALREADY_LINK

已经建过链

上层排查decoder与prompt建链情况。

LLM_LINK_FAILED

建链失败

link_clusters第二个返回值中有该错误码时,需要检查对应集群之间的网络连接。

LLM_UNLINK_FAILED

断链失败

unlink_clusters第二个返回值中有该错误码时,需要检查对应集群之间的网络连接。

LLM_NOTIFY_PROMPT_UNLINK_FAILED

通知prompt侧断链

  1. 排查Decoder与Prompt之间的网络连接。
  2. 主动调Prompt侧的UnlinkClusters API清理残留资源。

LLM_CLUSTER_NUM_EXCEED_LIMIT

集群数量超过限制

排查API传入参数,clusters数量不能超过16。

LLM_PROCESSING_LINK

正在处理建链

当前link和unlink正在执行,请稍后再试。

LLM_PREFIX_ALREADY_EXIST

前缀已经存在

检查是否已加载过相同Prefix Id的公共前缀。如果是,需要先释放。

LLM_PREFIX_NOT_EXIST

前缀不存在

检查Request中的Prefix Id是否已加载过。

LLM_DEVICE_OUT_OF_MEMORY

device内存不足

检查申请的内存是否没有释放。

LLM_EXIST_LINK

switch_role时,存在未释放的链接

检查在switch_role前是否已经调用unlink_clusters断开所有的链接。

LLM_FEATURE_NOT_ENABLED

特性未使能

检查初始化LLMDataDist时是否传入了必要option:

如果是switch_role时抛出该异常,排查初始化时LLMConfig是否设置了enable_switch_role = True。

LLM_UNKNOWN_ERROR

未知错误

保留现场,获取Host/Device日志,并备份。

LLM_TIMEOUT

处理超时

保留现场,获取Host/Device日志,并备份。

LLM_WAIT_PROCESS_TIMEOUT

处理超时

超时时间加大,保留现场,获取Host/Device日志,并备份。

LLM_LINK_BUSY

链路繁忙

检查同时调用的接口是否有冲突,例如:同时调用如下接口时,会报该错误码。

  • 同时调用unlink和pull_cache。
  • 同时调用pull_cache和transfer_cache_async。

LLM_OUT_OF_MEMORY

内存不足

检查申请的内存是否没有释放。