下载
中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助
昇腾小AI

--external_weight

功能说明

生成om模型文件时,是否将原始网络中的Const/Constant节点的权重外置,同时将节点类型转换为FileConstant类型。

若网络中的weight占用内存较大,且模型加载环境内存受限时,建议通过此配置项将网络中Const/Constant节点的权重外置,防止由于内存不足导致模型编译出错。

关联参数

需要和--output参数配合使用,生成的权重文件保存在与om文件同层级的weight目录下,权重文件以weight_+hash值命名。

参数取值

  • 0:权重不外置,直接保存在om模型文件中。默认为0。
  • 1:权重外置,将网络中所有的Const/Constant节点的权重文件落盘,权重文件以weight_+hash值命名。

推荐配置及收益

当网络中weight占用内存较大且对模型大小有限制时,建议将此配置项设置为1。

示例

以ONNX网络模型为例:

atc --framework=5 --model=$HOME/module/resnet50.onnx --output=$HOME/module/out/onnx_resnet50 --soc_version=<soc_version>  --external_weight=1

支持的型号

Atlas 200/300/500 推理产品

Atlas 推理系列产品

Atlas 训练系列产品

Atlas 200I/500 A2推理产品

Atlas A2训练系列产品/Atlas 800I A2推理产品

依赖约束

权重外置场景,在使用AscendCL接口开发推理应用、加载模型时:

搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词