complete_request
函数功能
在KvCacheManager模式下，请求释放所占内存。
函数原型
complete_request(llm_req: LLMReq)
参数说明
参数名称 |
数据类型 |
取值说明 |
|---|---|---|
llm_req |
请求信息。 |
调用示例
1 2 3 4 5 | from llm_datadist import LLMDataDist, LLMRole, LLMReq llm_datadist = LLMDataDist(LLMRole.DECODER, 0) ... llm_req = LLMReq() llm_datadist.complete_request(llm_req) |
返回值
正常情况下无返回值。
参数错误可能抛出TypeError或ValueError。
约束说明
无
父主题： LLMDataDist