LLMReq
函数功能
构造LLMReq。
函数原型
LLMReq(req_id=2**64-1, prompt_length=0, prompt_cluster_id=0, decoder_cluster_id=0, prefix_id=2**64-1)
参数说明
参数名称 |
数据类型 |
取值说明 |
|---|---|---|
req_id |
int |
请求ID。 |
prompt_length |
int |
prompt序列长度 |
prompt_cluster_id |
int |
prompt集群ID |
decoder_cluster_id |
int |
decoder集群ID |
prefix_id |
int |
前缀ID |
调用示例
from llm_datadist import LLMReq llm_req = LLMReq()
返回值
无
约束说明
无
父主题： LLMReq
