模型微调启动脚本适配样例(argparse)
import argparse import logging # 模拟模型源码逻辑 def model_finetune(args): logging.info('%s', args.data_path) # 模型代码中可接收到对应参数 logging.info('%s', args.output_path) logging.info('%s', args.advanced_config) logging.info('%s', args.learning_rate) if __name__ == '__main__': parser = argparse.ArgumentParser() # 必选适配项 parser.add_argument('-dp', '--data_path', type=str, required=True) # 数据集路径 parser.add_argument('-op', '--output_path', type=str, required=True) # 输出路径 # 可选适配项 parser.add_argument('-pm', '--pretrained_model_path', type=str, required=False) # 预训练模型路径 parser.add_argument('-ac', '--advanced_config', type=str, required=False) # 模型配置文件路径, 仅当模型需要网络冻结等高阶能力场景时需要 # 模型配置文件中包含的params配置项 parser.add_argument('-lr', '--learning_rate', type=float, required=False) parser.add_argument('-bs', '--batch_size', type=int, required=False) # 模型脚本接收的参数集合 args = parser.parse_args() model_finetune(args)
对应模型配置文件的内容:
params: learning_rate: 1e-6 batch_size: 32
父主题: 模型适配样例