文档
注册
评分
提单
论坛
小AI

LoadGraph

函数功能

  • 大模型分布式编译切分场景:

    将om离线模型加载到当前session中,并根据传入的graphid,将modelGraphId关联,LoadGraph成功后可以使用RunGraph接口指定GraphId进行执行

  • 异步执行Graph场景:

    将指定graphid的图绑定到对应stream上,LoadGraph成功后可以使用ExecuteGraphWithStreamAsync接口执行图。

函数原型

  • 大模型分布式编译切分场景:
    Status LoadGraph(const uint32_t graph_id, const std::map<std::string, std::string> &options, const std::string &om_file_path) const;
  • 异步执行Graph场景:
    Status LoadGraph(const uint32_t graph_id, const std::map<AscendString, AscendString> &options, void *stream) const;

参数说明

参数名

输入/输出

描述

graph_id

输入

要执行图对应的id。

options

输入

执行阶段可能用到的option。map表,key为参数类型,value为参数值,描述Graph配置信息。

一般情况下可不填,与GEInitialize传入的全局option保持一致。

  • 大模型分布式编译切分场景:key和value类型为string,如需单独配置当前Graph的配置信息时,可以通过此参数配置,支持的配置项请参见options参数说明
  • 异步执行Graph场景:key和value类型为AscendString,如需单独配置当前Graph的配置信息时,可以通过此参数配置,支持的配置项请参见options参数说明>ge.exec.frozenInputIndexes,当前只支持配置该参数。

om_file_path大模型分布式编译切分场景

输入

om离线模型的路径。

stream(异步执行Graph场景)

输入

图执行流。

返回值

参数名

类型

描述

-

Status

GE_CLI_SESS_RUN_FAILED:执行子图时序列化转换失败。

SUCCESS:执行子图成功。

FAILED:执行子图失败。

约束说明

  • 大模型分布式编译切分场景:
    1. 只支持加载用于分布式部署的模型,即使用ATC工具使能--distributed_cluster_build=1或使用编译Graph为离线模型编译模型时使能DISTRIBUTED_CLUSTER_BUILD后生成的离线模型。其他离线模型使用该接口加载会被校验,返回失败。
    2. 使用该接口加载的离线模型若包含变量会返回失败。
  • 异步执行Graph场景:

    该接口执行前需要完成CompileGraph流程,且需要与ExecuteGraphWithStreamAsync接口配合使用。

搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词