def generate_stream(self, model_name, prompt, model_version, request_id, parameters)

model_name

str

输入

模型名称。

模型名称只支持由大小写字母、数字、中横线和下划线组成。

prompt

str

输入

模型输入字符串。

model_version

str

输入

模型版本，默认为""。

非空时只支持由大小写字母、数字、中横线和下划线组成。

request_id

str

输入

请求ID。

parameters

dict

输入

额外的请求参数，包括seed、temperature、top_k、top_p、do_sample、repetition_penalty、typical_p、batch_size和details。

seed

int64

输入

随机种子数。

取值范围为(0,18446744073709551615]，不传递随机指定。

temperature

float

输入

控制生成的随机性，较高的值会产生更多样化的输出。

取值范围大于0，默认值为1。

top_k

int32

输入

控制模型生成过程中考虑的词汇范围，只从概率最高的k个候选词中选择。0表示不做top_k。

取值范围：[0,2147483647]，默认值为0。

top_p

float

输入

使用累计概率选择候选词，直到累计概率超过给定的阈值。

do_sample

bool

输入

是否做sampling。

取值范围：(0,1]，默认值为1。

repetition_penalty

float

输入

用于减少在文本生成过程中出现重复片段的概率。

取值范围大于0，默认值为1.0。

typical_p

float

输入

典型采样，从分布率接近typical_p的单次集合中采样。

取值范围为(0,1]。

batch_size

int

输入

推理请求batch_size。

取值大于0。

details

bool

输入

是否返回details字段。