文档
注册

LLMStatusCode

枚举值

含义

是否可恢复

解决办法

LLM_SUCCESS

成功

LLM_FAILED

通用失败

保留现场,获取Host/Device日志,并备份。

LLM_PARAM_INVALID

参数错误

基于日志排查错误原因

LLM_KV_CACHE_NOT_EXIST

KV不存在

  • 如果使用低阶API,检查对应全量cache_key是否正确。
  • 如果使用高阶API,检查全量侧是否推理成功。
  • 检查是否存在重复拉取。

LLM_REPEAT_REQUEST

重复请求

检查是否存在重复调用。

LLM_NOT_YET_LINK

没有建链

上层排查decoder与prompt建联情况。

LLM_ALREADY_LINK

已经建过链

上层排查decoder与prompt建联情况。

LLM_LINK_FAILED

建链失败

link_clusters第二个返回值中有改错误码时,需要检查对应集群之间的网络连接。

LLM_UNLINK_FAILED

断链失败

unlink_clusters第二个返回值中有改错误码时,需要检查对应集群之间的网络连接。

LLM_NOTIFY_PROMPT_UNLINK_FAILED

通知prompt侧断链

  1. 排查Decoder与Prompt之间的网络连接。
  2. 主动调Prompt侧的UnlinkClusters API清理残留资源。

LLM_CLUSTER_NUM_EXCEED_LIMIT

集群数量超过限制

排查API传入参数,clusters数量不能超过16。

LLM_PROCESSING_LINK

正在处理建链

当前link和unlink正在执行,请稍后再试。

LLM_PREFIX_ALREADY_EXIST

前缀已经存在

检查是否已加载过相同Prefix Id的公共前缀。如果是,需要先释放。

LLM_PREFIX_NOT_EXIST

前缀不存在

检查Request中的Prefix Id是否已加载过。

LLM_DEVICE_OUT_OF_MEMORY

device内存不足

检查申请的内存是否没有释放

LLM_EXIST_LINK

switch_role时,存在未释放的链接

检查在switch_role前是否已经调用unlink_clusters断开所有的链接

LLM_FEATURE_NOT_ENABLED

特性未使能

检查初始化LLMDistDist时是否传入了必要option:

如果是switch_role时抛出该异常,排查初始化时LLMConfig是否设置了enable_switch_role = True

LLM_UNKNOWN_ERROR

未知错误

保留现场,获取Host/Device日志,并备份。

搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词