ais_bench工具执行动态shape模型推理失败
2024/02/20
479
问题信息
问题来源 | 产品大类 | 产品子类 | 关键字 |
---|---|---|---|
官方 | 模型推理 | benchmark | ais_bench、benchmark |
问题现象描述
使用ais_bench工具执行动态shape模型时推理失败,出现Model execute failed,具体报错信息如下:
原因分析及排查方法
出现Model execute failed报错的原因有很多,需要开启debug日志,进行进一步分析:
export ASCEND_SLOG_PRINT_TO_STDOUT=1 export ASCEND_GLOBAL_LOG_LEVEL=0
执行推理脚本,并将打平日志重定向到debug.log中,执行grep ERROR debug.log出现如下信息:
报错原因:通过上述debug日志,可以看出推理失败的原因是,为模型开辟的输出空间不足。
解决措施
动态shape模型,输出数据占内存大小未知,使用ais_bench工具时,需要预估一个较合适的大小,配置--outputSize参数。
具体参数设置可以参考《ais_bench推理工具使用指南》。
本页内容