下载
EN
注册

在昇腾上进行LLM推理,如何保证确定性计算

  1. 模型层面:

    通信算子:

    export LCCL_DETERMINISTIC=1 
    export HCCL_DETERMINISTIC=true

    MatMul:

    export ATB_MATMUL_SHUFFLE_K_ENABLE=0
  2. 推理引擎:

    MindIE:基于block进行新request的获取。

    TGI:暂不支持。