功能介绍

应用场景

• MindIE Client支持以下模型推理接口：
  • 同步推理（token_id to token_id）:

    同步推理模式下，客户端发送一个请求给服务端（如：MindIE Server），然后等待服务端完成推理处理并返回结果后，才继续执行下一步操作，在此期间，客户端处于等待状态，其对应的接口请参见def infer(self, model_name, inputs, model_version, outputs, request_id, parameters)。

  • 异步推理（token_id to token_id）：异步推理（token_id to token_id）：

    异步推理模式下，客户端发送请求给服务端后，不需要等待响应，可以继续执行其他任务。服务端完成推理后，通过回调、通知或者其他方式告知客户端推理结果，其对应的接口请参见def async_infer(self, model_name, inputs, model_version, outputs, request_id, parameters)。

  • 全量文本推理（text to text）：

    全量文本推理模式下，输入的是prompt（文本），推理结果输出的内容格式也是文本，一次性返回全部响应内容，其对应的接口请参见def generate(self, model_name, prompt, model_version, request_id, parameters)。

  • 流式文本推理（text to text）：

    流式文本推理模式下，输入的是prompt（文本），推理结果按流式返回，每次返回的是单个字符，其对应的接口请参见def generate_stream(self, model_name, prompt, model_version, request_id, parameters)。

• MindIE Client支持以下请求管理接口：
  • 提前终止推理请求，其对应的接口请参见def cancel(self, model_name, request_id, model_version)。
  • 统计slot数量，其对应的接口请参见def get_slot_count(self, model_name, model_version)。
• MindIE Client支持以下服务状态查询接口：
  • 查询Server和Model的状态和元数据，其对应的接口请参见def get_server_metadata(self)和def get_model_metadata(self, model_name, model_version)。
  • 查询Model配置，其对应的接口请参见def get_model_config(self, model_name, model_version)。