下载
中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助
昇腾小AI

权重更新

对于权重更新的场景,为便于用户一次编译模型后,在模型执行阶段能动态更新权重,可通过本章节提供的接口实现该功能。

功能介绍

将权重可更新的Graph编译为离线模型涉及的主要接口为:

  1. Graph定义完成后,调用aclgrphBuildInitialize进行系统初始化,申请系统资源。
  2. 调用aclgrphConvertToWeightRefreshableGraphs生成权重可更新的图,包括三部分:权重初始化图,权重更新图,推理图。
  3. 调用aclgrphBundleBuildModel将权重更新的Graph编译为适配昇腾AI处理器的离线模型,编译过程中会加载TBE内置算子库和自定义算子库。此时模型保存在内存缓冲区中。
  4. 如果希望将内存缓冲区中的模型保存为离线模型文件xx.om,需要调用aclgrphBundleSaveModel,序列化保存离线模型到文件中。
  5. 调用aclgrphBuildFinalize结束进程,释放系统资源。

当前支持在一个进程中连续调用模型编译和模型文件保存接口,用于编译和保存多个离线模型。

使用方法

//包含的头文件:
#include "ge_ir_build.h" 
#include "ge_api_types.h"

// 1. 生成Graph
Graph origin_graph("Irorigin_graph");
GenGraph(origin_graph);

// 2. 创建完Graph以后,通过aclgrphBuildInitialize接口进行系统初始化,并申请资源
std::map<AscendString, AscendString> global_options;
auto status = aclgrphBuildInitialize(global_options);

// 3. 生成权重可更新的图,包括三部分:权重初始化图,权重更新图,推理图
// 权重初始化是可选步骤,根据业务场景由用户判断是否需要包含权重初始化图,不包含的情况下,可节省模型加载所需的Device内存
WeightRefreshableGraphs weight_refreshable_graphs;
std::vector<AscendString> const_names;
const_names.emplace_back(AscendString("const_1"));
const_names.emplace_back(AscendString("const_2"));
status = aclgrphConvertToWeightRefreshableGraphs(origin_graph, const_names, weight_refreshable_graphs);
if (status != GRAPH_SUCCESS) {
    cout << "aclgrphConvertToWeightRefreshableGraphs failed!" << endl;
    aclgrphBuildFinalize();
    return -1;
}

// 4. 将权重可更新的图,编译成离线模型,并保存在内存缓冲区中
std::map<AscendString, AscendString> options;
std::vector<ge::GraphWithOptions> graph_and_options;
//推理图
graph_and_options.push_back(GraphWithOptions{weight_refreshable_graphs.infer_graph, options});
//权重初始化图
graph_and_options.push_back(GraphWithOptions{weight_refreshable_graphs.var_init_graph, options});
//权重更新图
graph_and_options.push_back(GraphWithOptions{weight_refreshable_graphs.var_update_graph, options});
ge::ModelBufferData model;
status = aclgrphBundleBuildModel(graph_and_options, model);
if (status != GRAPH_SUCCESS) {
    cout << "aclgrphBundleBuildModel failed" << endl;
    aclgrphBuildFinalize();
    return -1;
}

// 5. 将内存缓冲区中的模型保存为离线模型文件
status = aclgrphBundleSaveModel(file, model);
if (status != GRAPH_SUCCESS) {
    cout << "aclgrphBundleSaveModel failed" << endl;
    aclgrphBuildFinalize();
    return -1;
}
// 6. 构图进程结束,释放资源
aclgrphBuildFinalize();

后续步骤

上述权重更新后的图编译生成的离线模型,如果使用AscendCL接口进行推理业务,则必须通过aclmdlBundleLoadFromFileaclmdlBundleLoadFromMem接口加载模型,然后使用aclmdlExecute接口执行推理,详细介绍请参见AscendCL应用软件开发指南 (C&C++)>“权重更新”章节。

搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词