LoadGraph
函数功能
- 大模型分布式编译切分场景:
将om离线模型加载到当前session中,并根据传入的graphid,将model与GraphId关联,LoadGraph成功后可以使用RunGraph接口指定GraphId进行执行。
- 异步执行Graph场景:
将指定graphid的图绑定到对应stream上,LoadGraph成功后可以使用ExecuteGraphWithStreamAsync接口执行图。
函数原型
- 大模型分布式编译切分场景:
Status LoadGraph(const uint32_t graph_id, const std::map<std::string, std::string> &options, const std::string &om_file_path) const;
- 异步执行Graph场景:
Status LoadGraph(const uint32_t graph_id, const std::map<AscendString, AscendString> &options, void *stream) const;
参数说明
参数名 |
输入/输出 |
描述 |
---|---|---|
graph_id |
输入 |
要执行图对应的id。 |
options |
输入 |
执行阶段可能用到的option。map表,key为参数类型,value为参数值,描述Graph配置信息。 一般情况下可不填,与GEInitialize传入的全局option保持一致。
|
om_file_path(大模型分布式编译切分场景) |
输入 |
om离线模型的路径。 |
stream(异步执行Graph场景) |
输入 |
图执行流。 |
返回值
参数名 |
类型 |
描述 |
---|---|---|
- |
Status |
GE_CLI_SESS_RUN_FAILED:执行子图时序列化转换失败。 SUCCESS:执行子图成功。 FAILED:执行子图失败。 |
约束说明
- 大模型分布式编译切分场景:
- 异步执行Graph场景:
该接口执行前需要完成CompileGraph流程,且需要与ExecuteGraphWithStreamAsync接口配合使用。
父主题: Graph运行接口