精度测试

精度测试样例如下所示，参数详细解释请参见输入参数。

benchmark \
--DatasetPath "/{数据集路径}/GSM8K" \
--DatasetType "gsm8k" \
--ModelName "baichuan2_13b" \
--ModelPath "/{模型路径}/baichuan2-13b" \
--TestType client \
--Http https://{ipAddress}:{port} \
--ManagementHttp https://{managementIpAddress}:{managementPort} \
--MaxOutputLen 512 \
--TestAccuracy True

其中--TestAccuracy True 参数是开启精度测试的开关。

测试结果如下图所示：

其中accuracy字段为精度测试结果。