llm_engine_test

llm_engine_test命令自本版本起停止演进，且在2024年12月30日后退出并删除。

支持用户使用自定义的数据集进行性能验证。

./llm_engine_test 可选参数1 可选参数2 可选参数3 可选参数4

参数	说明
可选参数1	自定义数据集名称，若没有输入此参数则选用数据集默认名称：token_input_gsm.csv。
可选参数2	是否记录output id。若传一个大于0的参数，则output id会被写进llm_engine_test同级目录下的token_output.csv。设置可选参数2时，必须要设置可选参数1。
可选参数3	warmup的次数。设置可选参数3时，必须要设置可选参数1和可选参数2。
可选参数4	传入config.json文件路径，若没有此参数，则默认读取Service下的config.json文件。

配置config.json文件内容，常用配置参数请参见配置参数说明。如需配置其他参数，详情请参见《MindIE安装指南》中“配置MindIE > 配置MindIE Server > 单机推理”章节中的步骤4。
提供测试数据集，将数据集文件上传至llm_engine_test所在目录（'${MINDIE_INSTALL_PATH}/latest/mindie-llm/bin'）。
用户自定义数据集需满足以下格式要求：
- 每一行表示一条数据，均以1开头，每个token id之间以逗号相隔（每行最后一个token id后不加逗号）。
- 请求数建议不超过50000条。
- token id取值限制以词表为准，即配置项“modelWeightPath”下面的config.json，其中“vocab_size”字段的值。
  以“/data/atb_testdata/weights/llama1-65b-safetensors”目录下的config.json为例，即token id不能超过32000。
```
{
  "architectures": [
    "LlamaForCausalLM"
  ],
  "bos_token_id": 1,
  "eos_token_id": 2,
  "hidden_act": "silu",
  "hidden_size": 8192,
  "initializer_range": 0.02,
  "intermediate_size": 22016,
  "max_sequence_length": 2048,
  "model_type": "llama",
  "num_attention_heads": 64,
  "num_hidden_layers": 80,
  "pad_token_id": 0,
  "rms_norm_eps": 1e-05,
  "tie_word_embeddings": false,
  "torch_dtype": "float16",
  "transformers_version": "4.28.0.dev0",
  "use_cache": true,
  "vocab_size": 32000
}
```

执行命令。

./bin/llm_engine_test 可选参数1 可选参数2 可选参数3 可选参数4

父主题： 调度工具