Profiling数据老化导致无法正常解析数据
2023/05/08
108
问题信息
问题来源 | 产品大类 | 产品子类 | 关键字 |
---|---|---|---|
官方 | 模型训练 | TensorFlow | Profiling、数据老化 |
问题现象描述
当Profiling数据超过storage_limit参数限定的最大值或剩余磁盘空间较小时,Profiling开始自动老化删除最早的Profiling数据。
原因分析
Profiling数据老化。默认情况下Profiling解析从--iteration-id=1开始,而老化同样从--iteration-id=1开始,故当第1轮迭代或前面几轮迭代的数据被老化后,未指定--iteration-id或指定前面几轮迭代进行解析时,解析将会失败。
解决措施
- 执行./msprof --query=on --output=<dir>命令查看最大迭代轮数(Iteration Number)。
- 解析迭代ID最大的Profiling数据。
本页内容