简介
StreamServer是基于MindX SDK实现的推理服务器,以RESTful接口对外提供推理服务。StreamServer推理服务并不是一个完备的系统,需要通过组件集成方式与用户其他系统配合才能形成一个完整的推理服务系统。用户需要考虑部署环境的安全性、可靠性与可用性,建议用户参考业界常用的Web部署方案对StreamServer推理服务进行集成部署,不建议单独使用该推理服务,同时建议用户在HTTP服务器前部署Nginx。
版本特性
- 支持pipeline推理服务。
- 支持单模型推理服务,支持自动组Batch。
- 支持https/http协议。(如果用户选择使用http协议,需要承担由于不安全的网络环境导致数据泄漏的风险。)
- 支持https双向加密与认证。
- 支持请求流控。
- 支持华为KMC组件管理CA密钥。
- 支持IP白名单过滤。
父主题: StreamServer推理服务