- 如果执行文本推理时报“cannot allocate memory in static TLS block”错误，处理方法请参见使用第三方库transformers跑模型推理时，报错“cannot allocate memory in static TLS block”章节。
- 执行样例前请使用以下命令配置环境变量。
source /usr/local/Ascend/ascend-toolkit/set_env.sh # CANN source /usr/local/Ascend/nnal/atb/set_env.sh # ATB source /usr/local/Ascend/llm_model/set_env.sh # ATB Models source /usr/local/Ascend/mindie/set_env.sh # MindIE
带后处理性能测试样例
# Engine模式 tokenids推理
SMPL_PARAM='{\"temperature\":0.5,\"top_k\":10,\"top_p\":0.9,\"typical_p\":0.9,\"seed\":1234,\"repetition_penalty\":1,\"watermark\":true}'
benchmark \
--DatasetPath "/{数据集路径}/gsm8k/xx.csv" \
--DatasetType "gsm8k" \
--ModelName llama2-7b \
--ModelPath "/{模型权重路径}/LLaMA3-8B/" \
--TestType engine \
--Tokenizer False \
--Concurrency 128 \
--MaxOutputLen 512 \
--DoSampling True \
--SamplingParams=$SMPL_PARAM
图1 Engine模式tokenids推理
不带后处理性能测试样例
# Engine模式 tokenids推理
benchmark \
--DatasetPath "/{数据集路径}/gsm8k/xx.csv" \
--DatasetType "gsm8k" \
--ModelName "baichuan2_13b" \
--ModelPath "/{模型权重路径}/baichuan2-13b" \
--TestType engine \
--Tokenizer False \
--Concurrency 50