RARopeCompressConfig
功能说明
RoPE编码的模型进行长序列压缩时,配置induction head和echoing head的保留比例,保留的部分不需压缩,仅需压缩未保留部分。
函数原型
RARopeCompressConfig(induction_head_ratio=0.14, echo_head_ratio=0.01)
参数说明
参数名 |
输入/返回值 |
含义 |
使用限制 |
---|---|---|---|
induction_head_ratio |
输入 |
控制Induction Head的保留比例。
说明:
Induction Head:在处理文本序列时,用于关注并预测输入序列中与当前token(词元)相同的下一个token。 |
可选。 数据类型:float。 默认为0.14,可选范围为[0,1]。 |
echo_head_ratio |
输入 |
控制Echo Head的保留比例。
说明:
Echo Head:在处理文本序列时,用于关注前文中出现的与当前token相同的token。 |
可选。 数据类型:float。 默认为0.01,可选范围为[0,1]。 |
调用示例
from msmodelslim.pytorch.ra_compression import RARopeCompressConfig config = RARopeCompressConfig(induction_head_ratio=0.14, echo_head_ratio=0.01)
父主题: RoPE编码类型