sparse_huggingface_trainer_depth

功能说明

稀疏训练配置参数接口，将原本trainer包装为稀疏化训练的训练类，后续使用包装后的trainer调用训练流程。

函数原型

sparse_huggingface_trainer_depth(trainer, model_config epochs_each_stage)

参数说明

参数名	输入/返回值	含义	使用限制
trainer	输入	huggingface模型的trainer，定义了模型以及数据集等。	必选。数据类型：transformers.Trainer的实例。
model_config	输入	模型配置，包含了创建模型的参数，需包含num_hidden_layers字段。	必选。数据类型：模型配置类。
epochs_each_stage	输入	每个稀疏化阶段的epoch数量。	必选。数据类型：list或者tuple。元素必须是int。长度大于2，且其中元素取值大于1。

参数名

输入/返回值

含义

使用限制

trainer

输入

huggingface模型的trainer，定义了模型以及数据集等。

必选。

数据类型：transformers.Trainer的实例。

model_config

输入

模型配置，包含了创建模型的参数，需包含num_hidden_layers字段。

必选。

数据类型：模型配置类。

epochs_each_stage

输入

每个稀疏化阶段的epoch数量。

必选。

数据类型：list或者tuple。元素必须是int。

长度大于2，且其中元素取值大于1。

调用示例

trainer = Trainer(...)

# 新增代码，将 trainer 包装为稀疏训练的 trainer
from modelslim.pytorch import sparse
trainer = sparse.sparse_huggingface_trainer_depth(trainer, model_config=config, epochs_each_stage=[2, 2, 2])

父主题： 稀疏加速训练