SetRole
函数功能
设置LlmDataDist的角色。建议仅在使用PagedAttention的场景使用。
函数原型
Status SetRole(LlmRole role, const std::map<AscendString, AscendString> &options = {})
参数说明
参数名 |
输入/输出 |
描述 |
|---|---|---|
options |
输入 |
设置角色的参数，当前支持的参数请参见表1。 |
返回值
- LLM_SUCCESS: 设置角色成功
- LLM_PARAM_INVALID: 参数错误
- LLM_FEATURE_NOT_ENABLED: 该特性未使能
- LLM_EXIST_LINK：存在残留链路资源
- 其他：失败
异常处理
无。
约束说明
LlmDataDist初始化时，需要设置OPTION_ENABLE_SET_ROLE为"1"，才可以使用该接口。
父主题： LlmDataDist