benchmark的client模式的文本流式推理后处理参数

do_sample

可选

是否做sampling。

bool类型，默认值false。

• true：做sampling。
• false：不做sampling。

max_new_tokens

可选

允许推理生成的最大token个数。实际产生的token数量同时受到配置文件maxIterTimes参数影响，推理token个数小于或等于Min(maxIterTimes, max_new_tokens)。

int32_t类型，默认值20。

repetition_penalty

可选

重复惩罚用于减少在文本生成过程中出现重复片段的概率。它对之前已经生成的文本进行惩罚，使得模型更倾向于选择新的、不重复的内容。

float类型，大于0.0，默认值1.0。

• 小于1.0表示对重复进行奖励。
• 1.0表示不进行重复度惩罚。
• 大于1.0表示对重复进行惩罚。

建议最大值取2.0，同时视模型而定。

seed

可选

用于指定推理过程的随机种子，相同的seed值可以确保推理结果的可重现性，不同的seed值会提升推理结果的随机性。

uint_64类型，取值范围(0, 18446744073709551615]，不传递该参数，系统会产生一个随机seed值。

当seed取到临近最大值时，会有WARNING，但并不会影响使用。若想去掉WARNING，可以减小seed取值。

temperature

可选

控制生成的随机性，较高的值会产生更多样化的输出。

float类型，大于0.0，默认值1.0。

取值越大，结果的随机性越大。推荐使用大于或等于0.001的值，小于0.001可能会导致文本质量不佳。

建议最大值取2.0，同时视模型而定。

top_k

可选

控制模型生成过程中考虑的词汇范围，只从概率最高的k个候选词中选择。

int32_t类型，取值范围[0, 2147483647]&&[0, vocabSize)，默认值0。

vocabSize是从modelWeightPath路径下的config.json文件中读取的vocab_size或者padded_vocab_size的值，若不存在则vocabSize取默认值0。建议用户在config.json文件中添加vocab_size或者padded_vocab_size参数，否则可能导致推理失败。

top_p

可选

控制模型生成过程中考虑的词汇范围，使用累计概率选择候选词，直到累计概率超过给定的阈值。该参数也可以控制生成结果的多样性，它基于累积概率选择候选词，直到累计概率超过给定的阈值为止。

float类型，取值范围(0.0, 1.0]，默认值1.0。

typical_p

可选

解码输出概率分布指数。

当前后处理不支持。

float类型，取值范围(0.0, 1.0]，默认值-1.0。

字段未设置时，默认值使用-1.0来表示不进行该项处理，但是不可主动设置为-1.0。

watermark

可选

是否带模型水印。

当前后处理不支持。

bool类型，默认值false。

• true：带模型水印。
• false：不带模型水印。