init接口
接口功能
LlmManager的初始化接口。
C++函数原型
Status Init(uint32_t modelInstanceId, std::set<size_t> npuDeviceIds)
Python函数
init(model_instance_id, npu_device_ids)
接口参数
参数 |
是否必选 |
说明 |
取值要求 |
|---|---|---|---|
model_instance_id |
是 |
模型实例Id。 |
满足C++中uint32范围的int类型。 |
npu_device_ids |
是 |
npu设备的ids。 |
合法的set类型。 |
使用样例
model_instance_id = 0 npu_device_ids = set([0,1,2,3]) llm_manager.init(model_instance_id, npu_device_ids)
返回值
Status对象。
父主题： LlmManager