性能调优流程

性能调优环境变量配置

性能调优环境变量配置如表1所示。

最优性能参数配置

最优性能配置各参数说明及取值如表2所示。

操作步骤

以下操作步骤以LLaMA3-8B双卡，数据类型bfloat16为例，进行最优性能的配置，环境信息举例如下：

本机配置8张显存大小为32G的卡，每张卡空闲状态下已占用3G，以占用2卡进行操作。

1. 在裸机中执行以下命令开启CPU高性能模式和透明大页，开启后可提升性能，建议开启。
   • 开启CPU高性能模式，在相同时延约束下，TPS会有~3%的提升。

     cpupower -c all frequency-set -g performance

   • 开启透明大页，多次实验的吞吐率结果会更稳定。

     echo always > /sys/kernel/mm/transparent_hugepage/enabled

2. 计算模型配置参数，请参考表2中的“npuMemSize”参数计算出“npuMemSize”的值并根据计算结果调整配置中的该值，计算过程如下所示。
   1. 计算模型的权重大小，进入模型权重文件所在目录，使用“du -h”命令查看模型的权重大小。如图1所示，LLaMA3-8B模型权重大小为15G。
      图1 查看权重大小
      
   2. 计算“npuMemSize”的值，计算公式为：Floor[(单卡显存-空闲占用-权重/NPU卡数)* 系数]，系数取值为0.8。

      npuMemSize = Floor[ (32 - 3 - 15/2 )] * 0.8 = 17G。

      

      “Floor”表示计算结果向下取整。

   根据计算结果，配置示例如下所示：

    "ModelDeployConfig":
       {
           "maxSeqLen" : 2560,
           "maxInputTokenLen" : 2048,
           "truncation" : false,
           "ModelConfig" : [
               {
                   "modelInstanceType": "Standard",
                   "modelName" : "LLaMa3-8B",
                   "modelWeightPath" : "/home/data/acltransformer_testdata/weights/LLaMa3-8B",
                   "worldSize" : 2,
                   "cpuMemSize" : 5,
                   "npuMemSize" : 17,
                   "backendType": "atb"
               }
           ]
       },

   

   • “worldSize”、“npuDeviceIds”、“cacheBlockSize”、“npuMemSize”和“cpuMemSize”参数请参见表2取建议值。
   • 其他参数取值请参考配置参数说明取默认值。

3. 计算调度配置参数，请参考ScheduleConfig参数说明中的“maxBatchSize”参数计算出“maxBatchSize”的值并根据计算结果调整配置中的该值，计算过程如下所示。
   根据计算公式：maxBatchSize = Total Block Num/Block Num，需要先计算出“Total Block Num”和“Block Num”的值。

   1. 计算“Total Block Num”的值。
      • 方式一（实测获取）：
        • “Total Block Num”的值可以通过跑一次性能后在Python日志中的“npuBlockNum”获取。

          

        • “Total Block Num”的值也可以直接从info级打屏日志k_caches[0].shape=torch.Size([npuBlockNum, -, -, -])中torch.Size的第一个值获取。

          

        

        Python日志路径：/usr/local/Ascend/mindie/latest/mindie-llm/logs/pythonlog.log

      • 方式二（公式计算）：

        Total Block Num = Floor[NPU显存/(模型网络层数*cacheBlockSize*模型注意力头数*注意力头大小*Cache类型字节数*Cache数)]，公式中各参数的取值信息如表3所示。

        表3 Total Block Num公式中的参数值

        参数	取值
        NPU显存	2中“npuMemSize”的值：17。
        模型网络层数	模型网络层数是模型权重文件config.json中num_hidden_layers参数的值，LLaMA3-8B的模型网络层数取值为：32。
        cacheBlockSize	默认值：128。该参数的值与ScheduleConfig参数说明中cacheBlockSize参数的值保持一致。
        模型注意力头数	模型注意力头数是模型权重文件config.json中num_attention_heads参数的值。
        注意力头大小	“模型注意力头数*注意力头大小”的值为模型权重文件config.json中hidden_size参数的值，即注意力头大小可以根据模型注意力头数计算获得。 说明： 对于GQA类模型（分组查询注意力类模型，例如LLaMA3-8B），需使用模型权重文件config.json中num_key_value_heads参数的值而不是num_attention_heads参数的值作为“模型注意力头数”的值参与计算，即对于两卡LLaMA3-8B，每张卡上的“模型注意力头数*注意力头大小”的值应该为8*128/2=512。
        Cache类型字节数	由模型config.json文件中的torch_dtype决定，一般为float16类型，取值为：2。
        Cache数	Key+Value的值，各自代表1个Cache数。默认值：2。

        将以上参数值代入公式，得到Total Block Num = Floor[17*1024*1024*1024/(32 * 128 * 8*128/2*2*2)] = 2176。

        注：以上算式中128/2是由于LLaMA3-8B双卡，所以注意头数需均分在2张卡上。

   2. 计算每个请求所需“Block Num”的值，公式中各参数的取值信息如表4所示。

      根据计算公式：

      • 所需最大Block Num = Ceil(输入Token数/cacheBlockSize)+Ceil(最大输出Token数/cacheBlockSize)
      • 所需最小Block Num = Ceil(输入Token数/cacheBlockSize)
      • 所需平均Block Num = Ceil(输入Token数/cacheBlockSize)+Ceil(平均输出Token数/cacheBlockSize)

      表4 Block Num公式中的参数值

      参数	取值
      输入Token数	从Benchmark输出的InputTokens参数的平均值获取，取值示例：186。
      最大输出Token数	从config.json文件中的maxIterTimes参数获取，示例取值：512。
      平均输出Token数	实际运行测试数据集后统计GeneratedTokens参数平均输出长度，示例取值：346。
      cacheBlockSize	默认值：128。该参数的值与ScheduleConfig参数说明中cacheBlockSize的值保持一致。

      将以上参数值代入公式：

      • 所需最小Block Num = Ceil(186/128) = 2
      • 所需最大Block Num = Ceil(186/128)+Ceil(512/128) = 6
      • 所需平均Block Num = Ceil(186/128)+Ceil(346/128) = 5
      

      “Ceil”表示计算结果向上取整。

   3. 计算“maxBatchSize”的取值范围。

      根据3.a和3.b计算出的“Total Block Num”和“Block Num”值，然后使用公式maxBatchSize=Floor[Total Block Num/Block Num]计算“maxBatchSize”的取值范围。

      • 最小maxBatchSize = Floor[Total Block Num/所需最大Block Num] = 362
      • 最大maxBatchSize = Floor[Total Block Num/所需最小Block Num] = 1088
      • 平均maxBatchSize = Floor[Total Block Num/所需平均Block Num] = 435

      由以上公式得到“maxBatchSize”的取值范围为[362，1088]，设置初始值为435，然后根据吞吐量或者时延要求进行调整，具体场景请参见最佳实践。

4. 计算“maxPrefillBatchSize”和“maxPrefillTokens”的值。
   • “maxPrefillBatchSize”的计算方式请参见表2中“maxPrefillBatchSize”参数，建议设置为：“maxBatchSize”值的一半。

     maxPrefillBatchSize = Floor[maxBatchSize/2] = 435/2 = 217

   • “maxPrefillTokens”的值一般不超过8192，其计算方式请参见表2中“maxPrefillTokens”参数。

     maxPrefillTokens = maxPrefillBatchSize * 数据集token id平均输入长度 = 217*186 = 40362

     根据公式计算出的值大于8192，所以“maxPrefillTokens”的取值为8192。

   

   • “maxPrefillBatchSize”和“maxPrefillTokens”的值一般根据“maxBatchSize”的值进行调整，其值不建议过大。
   • “maxPrefillTokens”一般不用超过8192，若显存溢出可进一步适当调小“maxPrefillBatchSize”和“maxPrefillTokens”的值。

5. 通过配置“maxPreemptCount”和“cpuMemSize”参数确认Swap抢占，请参见表2配置其建议值。
   

   如果是显存受限场景，可开启“maxPreemptCount”（即设置为1或2），“cpuMemSize”可从5调整至40。

6. 通过配置“supportSelectBatch”、“prefillTimeMsPerReq”和“decodeTimeMsPerReq”参数确认Prefill/Decode切换调度策略。
   • 当严格要求首token时延时：

     “supportSelectBatch”设置为“false”。

   • 当严格要求吞吐量时（首token时延要求适中）：

     “supportSelectBatch”设置为“true”。

     “prefillTimeMsPerReq”和“decodeTimeMsPerReq”按照模型实际平均首token时延和Decode时延设置，也可参见表2使用推荐配置，然后根据下列场景进行调优。

     • 场景一：若希望降低首token时延：

       可调小“prefillTimeMsPerReq”，并调大“decodeTimeMsPerReq”，使Prefill优先执行。

     • 场景二：若希望提升吞吐量（首token时延要求较小）：

       可适当调大“prefillTimeMsPerReq”，并调小“decodeTimeMsPerReq”，使Decode优先执行。

7. 实际运行时，若测试场景是显存bound，可进一步调整“npuMemSize”的值。
   在调试过程中，重开一个窗口使用以下命令查看占卡情况，如果剩余空间还很大，可以调大npuMemSize的值，重复3~6后再次进行调试。

   watch npu-smi info

   • 当npuMemSize的值不够大时，可以继续调大空闲值，如图2。
     图2 npuMemSize值不够大
     

   • 当npuMemSize的值过大时，则会报“Npu out of memory”错误，如图3所示。
     图3 npuMemSize过大的情况
     

   • 根据“Npu out of memory”报错信息，将npuMemSize的值调小（比如在原来的值上减2，避免卡死），则可以达到最优npuMemSize的值。如图4，大概是占据95%卡的状态。
     图4 npuMemSize最优值
     

测试性能的数据集问题条数尽量超过1000条以上（可参考MindIE Benchmark支持的开源数据集MMLU，均在1000条以上），否则平均性能会有较大波动。