sparse_huggingface_trainer_depth
功能说明
稀疏训练配置参数接口，将原本trainer包装为稀疏化训练的训练类，后续使用包装后的trainer调用训练流程。
函数原型
sparse_huggingface_trainer_depth(trainer, model_config epochs_each_stage)
参数说明
参数名 |
输入/返回值 |
含义 |
使用限制 |
|---|---|---|---|
trainer |
输入 |
huggingface模型的trainer，定义了模型以及数据集等。 |
必选。 数据类型：transformers.Trainer的实例。 |
model_config |
输入 |
模型配置，包含了创建模型的参数，需包含num_hidden_layers字段。 |
必选。 数据类型：模型配置类。 |
epochs_each_stage |
输入 |
每个稀疏化阶段的epoch数量。 |
必选。 数据类型：list或者tuple。元素必须是int。 长度大于2，且其中元素取值大于1。 |
调用示例
trainer = Trainer(...) # 新增代码，将 trainer 包装为稀疏训练的 trainer from modelslim.pytorch import sparse trainer = sparse.sparse_huggingface_trainer_depth(trainer, model_config=config, epochs_each_stage=[2, 2, 2])
父主题： 稀疏加速训练接口
