SetMaxOutputLen接口
接口功能
设置推理请求返回token的最大值。
接口格式
bool SetMaxOutputLen(uint32_t maxOutputLen);
接口参数
参数 |
是否必选 |
说明 |
取值要求 |
---|---|---|---|
maxOutputLen |
必选 |
推理请求返回token的最大值。 |
合法的推理请求返回token最大值。 |
使用样例
uint32_t maxOutLen = 512; request->SetMaxOutputLen(maxOutLen);
返回值
- true:设置成功。
- false:设置失败。
父主题: InferenceRequest