功能介绍
MindIE Client是MindIE Service的模块之一，在启动MindIE Server Endpoint服务后，MindIE Client可以使用HTTP/HTTPS协议对它发送请求。MindIE Client提供了多种功能的接口，包括模型推理、请求管理和服务状态查询，用户调用接口即可实现与MindIE Server通信。
应用场景
- MindIE Client支持以下模型推理接口：
- 同步推理（token_id to token_id）:
同步推理模式下，客户端发送一个请求给服务端（如：MindIE Server），然后等待服务端完成推理处理并返回结果后，才继续执行下一步操作，在此期间，客户端处于等待状态，其对应的接口请参见def infer(self, model_name, inputs, model_version, outputs, request_id, parameters)。
- 异步推理（token_id to token_id）：异步推理（token_id to token_id）：
异步推理模式下，客户端发送请求给服务端后，不需要等待响应，可以继续执行其他任务。服务端完成推理后，通过回调、通知或者其他方式告知客户端推理结果，其对应的接口请参见def async_infer(self, model_name, inputs, model_version, outputs, request_id, parameters)。
- 全量文本推理（text to text）：
全量文本推理模式下，输入的是prompt（文本），推理结果输出的内容格式也是文本，一次性返回全部响应内容，其对应的接口请参见def generate(self, model_name, prompt, model_version, request_id, parameters)。
- 流式文本推理（text to text）：
流式文本推理模式下，输入的是prompt（文本），推理结果按流式返回，每次返回的是单个字符，其对应的接口请参见def generate_stream(self, model_name, prompt, model_version, request_id, parameters)。
- 同步推理（token_id to token_id）:
- MindIE Client支持以下请求管理接口：
- 提前终止推理请求，其对应的接口请参见def cancel(self, model_name, request_id, model_version)。
- 统计slot数量，其对应的接口请参见def get_slot_count(self, model_name, model_version)。
- MindIE Client支持以下服务状态查询接口：
- 查询Server和Model的状态和元数据，其对应的接口请参见def get_server_metadata(self)和def get_model_metadata(self, model_name, model_version)。
- 查询Model配置，其对应的接口请参见def get_model_config(self, model_name, model_version)。