简介
StreamServer是基于mxVision实现的推理服务器,以RESTful接口对外提供推理服务。
StreamServer推理服务并不是一个完备的系统,需要通过组件集成方式与用户其他系统配合才能形成一个完整的推理服务系统。用户需要考虑部署环境的安全性、可靠性与可用性,建议用户参考业界常用的Web部署方案对StreamServer推理服务进行集成部署,不建议单独使用该推理服务,同时建议用户在HTTPS服务器前部署Nginx。
若在服务端接收请求或执行证书导入脚本时,KMC初始化随机数阻塞,请参见在服务端接收请求或执行证书导入脚本时,KMC初始化随机数阻塞解决。
版本特性
- 支持pipeline推理服务。
- 支持单模型推理服务,支持自动组Batch。
- 支持https双向加密与认证。
- 支持请求流控。
- 支持华为KMC组件管理CA密钥。
父主题: StreamServer推理服务