set_tensor接口

接口功能

请求的设置Tensor接口。

C++函数原型

void SetTensor(const std::string& tensorName, TensorPtr &tensor)

Python函数

set_tensor(tensor_name, tensor)

接口参数

参数	是否必选	说明	取值要求
tensor_name	是	tensor名字。	合法的字符串类型string类型。
tensor	是	tensor内容。	合法的InferTensor类型，请参考InferTensor。

使用样例

id = '123'
request_id = llm_manager_python.InferRequestId(id)
infer_request = llm_manager_python.InferRequest(request_id)
name = "INPUT_IDS"
shape = np.array([1,1], dtype=np.int64)
runtime_tensor = llm_manager_python.InferTensor(name, shape, llm_manager_python.InferDataType.TYPE_INT64)
infer_request.set_tensor(name, runtime_tensor)

父主题： InferRequest