使用MindIE Benchmark或者脚本发送请求时出现超时提醒

问题描述

使用MindIE Benchmark或者脚本对MindIE Server发送请求时，部分请求出现超时且无返回的情况。

原因分析

发送请求速率超过服务化所能处理请求的能力，请求积压导致返回超时。

解决步骤

• 使用MindIE Benchmark对MindIE Server发送请求时

  降低并发数，即降低MindIE Benchmark输入参数--Concurrency的值，其理论值为：npuBlockNum*cacheBlockSize/(平均输入长度+平均输出长度)。

• 使用脚本对MindIE Server发送请求时

  可提升脚本中设置超时的时间限制。