模型启动脚本适配(必选)
模型适配过程,主要针对模型启动脚本进行适配。根据任务类型(微调/评估/推理)的不同,在模型启动脚本中定义所需参数。
由于模型启动脚本要求为Python文件,推荐使用argparse,click等模块实现。
模型微调
参数名 |
必选/可选 |
说明 |
---|---|---|
data_path |
必选 |
微调所需数据集根目录。用户必须在模型启动脚本中定义并使用该参数,否则可能因无法正确加载数据,导致任务失败。 |
output_path |
模型微调结果输出路径根目录。用户必须在模型启动脚本中定义并使用该参数,否则可能因无法正确获得输出路径,导致输出文件保存失败。 |
|
pretrained_model_path |
可选 |
预训练模型文件根目录。当用户需要在微调启动前加载预训练模型时,需要定义并使用该参数,并在模型代码内部实现具体预训练模型加载逻辑(具体模型文件可通过模型自定义超参数配置,请参见模型配置文件适配(可选))。如用户无加载预训练模型诉求时,可不定义该参数。 |
如果模型代码中存在相对路径参数,请将tk命令运行目录切换到模型代码的根目录,模型微调启动脚本适配样例可参考模型适配样例。
模型评估
参数名 |
必选/可选 |
备注 |
---|---|---|
data_path |
必选 |
评估所需数据集根目录。用户必须在模型启动脚本中定义并使用该参数,否则可能因无法正确加载数据,导致任务失败。 |
output_path |
模型评估结果输出路径根目录。用户必须在模型启动脚本中定义并使用该参数,否则可能因无法正确获得输出路径,导致输出文件保存失败。此外,用户需要将评估结果以json串的形式存储在该路径下,文件命名为“eval_result.json”,否则可能因无法获取评估结果判定评估任务失败。 |
|
ckpt_path |
待评估模型文件根目录。用户必须在模型启动脚本中定义并使用该参数,并在模型代码内部实现具体模型加载逻辑(具体模型文件名可通过配置文件中的params部分配置,请参见模型配置文件适配(可选)),否则可能因无法正确获取模型文件,导致评估结果异常。 |
如果模型代码中存在相对路径参数,请将tk命令运行目录切换到模型代码的根目录,模型评估启动脚本适配样例可参考模型适配样例。
模型推理
参数名 |
必选/可选 |
备注 |
---|---|---|
data_path |
必选 |
推理所需数据集根目录。用户必须在模型启动脚本中定义并使用该参数,否则可能因无法正确加载数据,导致任务失败。 |
output_path |
模型推理结果输出路径根目录。用户必须在模型启动脚本中定义并使用该参数,否则可能因无法正确获得输出路径,导致输出文件保存失败。此外,用户需要将推理结果以json串的形式存储在该路径下,文件命名为“infer_result.json”,否则可能因无法获取推理结果判定推理任务失败。 |
|
ckpt_path |
推理所需模型文件根目录。用户必须在模型启动脚本中定义并使用该参数,并在模型代码内部实现具体模型加载逻辑(具体模型文件名可通过配置文件中的params部分配置,请参见模型配置文件适配(可选)),否则可能因无法正确加载模型文件,导致推理结果异常。 |
如果模型代码中存在相对路径参数,请将tk命令运行目录切换到模型代码的根目录,模型推理启动脚本适配样例可参考模型适配样例。