下载
中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助
昇腾小AI

AscendIndexInt8FlatConfig

API定义

AscendIndexInt8FlatConfig(uint32_t blockSize =BLOCK_SIZE, Int8IndexMode indexMode = Int8IndexMode::DEFAULT_MODE);

功能描述

AscendIndexInt8FlatConfig的构造函数,生成AscendIndexInt8FlatConfig,此时根据Devices中配置的值设置Device侧昇腾AI处理器资源,配置资源池大小。配置Device侧blockSize,配置int8的检索模式。

输入

std::initializer_list<int> devices:Device侧设备ID。

int64_t resourceSize:设备侧预置的内存池大小,单位为Byte,计算过程中存储中间结果的内存空间,用于避免计算过程中动态申请内存造成性能波动。默认参数为头文件中的“INT8_FLAT_DEFAULT_MEM”。该参数通过底库大小和search的batch数共同确定,在底库大于等于1000万且batch数大于等于16时建议设置1024MB。

uint32_t blockSize:配置Device侧的blockSize,约束tik算子一次计算的数据量,以及底库分片存储每片存储向量的size。默认值“BLOCK_SIZE”为16384 * 16 = 262144。

Int8IndexMode indexMode:配置Index int8检索模式。默认值为DEFAULT_MODE

  • DEFAULT_MODE模式,默认模式。
  • PIPE_SEARCH_MODE模式,该模式针对batch大于或等于128的场景做了性能优化。使用该模式时,建议resourceSize至少配置为1324MB。
  • WITHOUT_NORM_MODE模式,暂时不支持本模式。

输出

返回值

约束说明

  • “devices”需要为合法有效不重复的设备ID,最大数量为64。
  • “resourceSize”配置的值不超过16 * 1024MB(16 * 1024 * 1024 * 1024字节)。当batch大于等于96时,为提升算法性能,建议“resourceSize”设置为大于等于2 * 1024MB。
  • “blockSize”可配置的值的集合为 { 16384, 32768, 65536, 131072, 262144 }
  • “indexMode” 中PIPE_SEARCH_MODE模式下的AscendIndexInt8Flat仅支持METRIC_L2。
搜索结果
找到“0”个结果

当前产品无相关内容

未找到相关内容,请尝试其他搜索词