文档
注册

enable_page_attention

函数功能

配置是否开启PagedAttention,对应底层llm.EnablePagedAttention配置项。

函数原型

enable_page_attention(enable_page_attention)

参数说明

参数名称

数据类型

取值说明

enable_page_attention

bool

配置是否开启PagedAttention,取值包括True和False,默认False。

  • True:是
  • False:否

调用示例

from llm_datadist import ModelConfig
model_config = ModelConfig()
model_config.enable_page_attention = True

返回值

约束说明

搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词