特征准入与淘汰

使用流程介绍

本节介绍如何使用特征准入与淘汰进行训练，涉及FeatureSpec模式与自动改图模式，对应流程请参见特征准入与淘汰。

图1 特征准入与淘汰使用流程

关键步骤介绍

• 在FeatureSpec模式下，请参考FeatureSpec进行配置。
  1. 开启准入功能仅需要设置准入阈值“access_threshold”大于0（单位：次），设置阈值等于或者小于0时将会报错。
  2. 开启淘汰功能需要依次执行以下步骤：
     1. 设置淘汰阈值“eviction_threshold”大于0（单位：秒），设置阈值等于或者小于0时报错。
     2. 设置“index_key”索引键为“timestamp”的FeatureSpec并携带参数is_timestamp=True，代表数据集含有时间戳。
     3. 使用_EvictHook接口为淘汰的触发方式设置“hook”，接口参数有三个，evict_enable=True，evict_time_interval=24 * 60 * 60，evict_step_interval=10000，分别代表淘汰功能开关、淘汰触发的时间间隔（单位：秒）、global step间隔。“evict_time_interval”与“evict_step_interval”参数可选其一。
• 在自动改图模式下，请参考自动改图进行配置。

  仅需要在使用sparse_lookup接口时，设置“access_and_evict_config”参数，参数类型dict，该dict由两个key-value对组成，key分别为“access_threshold”和“eviction_threshold”，value为对应的阈值。

示例代码

1. FeatureSpec模式。

   feature_spec_list = [FeatureSpec("user_ids", feat_count=cfg.user_feat_cnt, table_name="user_table",
                                    access_threshold=cfg.access_threshold,
                                    eviction_threshold=cfg.eviction_threshold),
                        FeatureSpec("item_ids", feat_count=cfg.item_feat_cnt, table_name="item_table",
                                    access_threshold=cfg.access_threshold,
                                    eviction_threshold=cfg.eviction_threshold),
                        FeatureSpec("timestamp", is_timestamp=True)]

   hook_evict = _EvictHook(evict_enable=True, evict_time_interval=24*60*60, evict_step_interval=10000)

2. 自动改图模式。

   config_for_user_table = dict(access_threshold=cfg.access_threshold, eviction_threshold=cfg.eviction_threshold)

   embedding = sparse_lookup(hash_table, feature, send_count, dim=None, is_train=is_train,
                             access_and_evict_config=config_for_user_table ,
                             name=hash_table.table_name + "_lookup", modify_graph=modify_graph)
   hook_evict = _EvictHook(evict_enable=True, evict_time_interval=24*60*60, evict_step_interval=10000)