小数据量时延大
问题现象
小数据量场景下时延较大,例如数据量小于4M时单机8卡allreduce时延大于300us。
原因分析
Device的日志级别如果不是默认值ERROR,会导致时延较大。
可通过如下命令查询Device日志等级:
for i in {0..7}; do /usr/local/Ascend/driver/tools/msnpureport -r -d $i; done
解决步骤
执行如下命令,将Device日志等级设置为error。
for i in {0..7}; do msnpureport -g error -d $i; done
父主题: HCCL Test常见问题总结