LLMEngineFinalize

函数功能

LLM Engine的资源释放函数。

函数原型

ge::Status LLMEngineFinalize()

参数说明

无

返回值

无

异常处理

无。

约束说明

• 需要和LLMEngineInitialize同时使用并且在一个进程中不支持多次被调用。
• 分离部署下，当增量集群去全量集群拉取kv的时候，需要保证全量集群在同步完kv的数据之后才调用Finalize；否则会出现失败。
• 分离部署下，当全量集群在同步kv数据给增量集群的过程中，需要保证增量集群在全量集群同步完kv数据之后调用Finalize，否则会出现失败。