Status AddOriginalInput(const LLM_ENGINE_DataType datatype, const int64_t *shape, const uint64_t dim_count, Input **input)

接口功能

向推理请求中添加原始输入，默认使用INPUT_IDS作为输入向量名称。

接口格式

Status AddOriginalInput(const LLM_ENGINE_DataType datatype, const int64_t *shape, const uint64_t dim_count, Input **input);

接口参数

参数	是否必选	说明	取值要求
datatype	必选	输入张量中保存的数据类型。	合法的数据类型。
shape	必选	输入张量的维度。	合法的维度信息。
dim_count	必选	输入张量的dim。	合法的维度值dim。
input	必选	指针的指针，用于在函数外访问到输入张量对象。	合法的指针的指针。

使用样例

无

返回值

Status(Error::Code::OK)：操作成功。
Status(Error::Code::ERROR)：操作失败。
Status(Error::Code::INVALID_ARG)：非法参数。
Status(Error::Code::NOT_FOUND)：无法找到指定操作。

父主题： InferenceRequest