SetDecoderClusterId
函数功能
设置LLM执行请求的增量cluster id。
函数原型
void SetDecoderClusterId(const uint64_t decoder_cluster_id)
参数说明
参数名 |
输入/输出 |
描述 |
|---|---|---|
decoder_cluster_id |
输入 |
执行请求中的实际句子长度。 |
返回值
无
异常处理
无
约束说明
无
父主题： LLMReq
