在昇腾上进行LLM推理,如何保证确定性计算 模型层面:通信算子: export LCCL_DETERMINISTIC=1 export HCCL_DETERMINISTIC=true MatMul: export ATB_MATMUL_SHUFFLE_K_ENABLE=0 推理引擎:MindIE:基于block进行新request的获取。 TGI:暂不支持。 父主题: FAQ