sparse_lookup
功能描述
mxRec模型训练框架,稀疏特征表查询接口。
若存在一表多查的情况下,查询次数最大值为128。
函数原型
def sparse_lookup(hashtable, ids, send_count, is_train, name=None, modify_graph=False, batch=None, access_and_evict_config=None, **kwargs)
参数说明
参数名 |
类型 |
可选/必选 |
说明 |
---|---|---|---|
hashtable |
SparseEmbedding |
必选 |
待查询的稀疏表。 |
ids |
FeatureSpec/tf.Tensor |
必选 |
查询的关键字(key),对应参数类型在不同功能模式下存在区别,具体参见如下。
|
send_count |
int |
必选 |
All2All通信计数。取值范围:[1, 2147483647] |
is_train |
bool |
必选 |
是否为训练模式。 |
name |
str |
可选 |
为该次查询操作创建对应的名称,长度不能超过255。 |
modify_graph |
bool |
可选 |
自动改图功能开关,该功能将在创建Session实例前对模型原图进行修改优化,默认值为“False”。 |
batch |
Iterator |
可选 |
数据集的迭代器。 当同时使用FeatureSpec类型、动态Shape功能时,“batch”参数必须传入。 |
access_and_evict_config |
dict |
可选 |
自动改图模式下开启特征准入与淘汰时使用。该dict由两个key-value对组成,“key”分别为“access_threshold”和“eviction_threshold”,“value”为对应的阈值。 |
返回值说明
- 成功:返回查询到的Tensor类结果。
- 失败:抛出异常。
使用示例
from mx_rec.core.embedding import sparse_lookup feature_spec = FeatureSpec("sparse_feature", feat_count=26, table_name="sparse_embeddings_table", batch_size=1) embedding = sparse_lookup(sparse_hashtable, feature_spec, 6000, is_train=True, name="sparse_embeddings")
参考资源
接口调用流程及示例,参见模型训练。
父主题: 模型接口