设置Shape数据缓存,提升性能
可通过设置环境变量HOST_CACHE_CAPACITY配置动态Shape执行时的数据缓存功能,默认值为0,不开启数据缓存功能;配置为非零正整数时,例如10,系统会将最近出现较为频繁的10个输入Shape对应的部分执行数据缓存,已缓存Shape再次出现时,Host执行性能将得到提升,但Host内存占用会变多,具体涨幅与环境变量值、模型大小成正比。
环境变量配置示例如下:
export HOST_CACHE_CAPACITY=10
注意,HOST_CACHE_CAPACITY环境变量取值范围为:[1, INT32类型最大值],超出INT32类型最大值(即2147483647),表示不开启数据缓存功能。
父主题: 模型动态Shape输入推理