使用接口说明
使用兼容TGI 0.9.4版本的接口
使用兼容vLLM 0.2.6版本接口
使用兼容OpenAI接口
使用兼容Triton接口
使用自研接口
父主题:
启动服务与接口使用