使用场景

generator接口主要面向TGI、vLLM框架，提供模型管理、加载、推理和后处理功能。
提供对接开源三方服务化TGI、vLLM能力，基于pytorch框架，仅支持backendType='atb'场景，实现大模型推理、后处理功能。
文件路径：mindie_llm/text_generator/adapter/generator_torch.py。

父主题： generator_torch.py提供Python接口