资讯多路召回开发
多路召回部署模块
03.png image-20220124161744230.png架构:
feature_server对应架构流程特征服务中的item特征与user特征
recall_server对应召回服务
model关联到FM开发
vector_server对应 i2i 与 u2i
开发前准备
-
pychram
- 03.png
-
redis可视化工具 https://www.jb51.net/softs/669908.html
-
新闻资讯数据data:articles.csv、click_log.csv、matrixcf_articles_emb.csv
click_log.csv中
user_id | 用户id |
---|---|
article_id | 文章id |
timestamp | 时间戳 |
enviroment | 处于何种网络,3G、4G、5G、WIFI |
region | 区域位置,城市 |
隐式特征抽取:用户点击历史对应数组形新特征,文章组成序列:[文章id+时间戳]
注:关于redis
redis常用指令:
cd C:\Users\Administrator\Desktop\redis-latest
redis-server.exe redis.windows.conf
(1)启动命令如下:
redis-server --service-start
(2)停止命令:
redis-server --service-stop
(3)还可以安装多个实例
redis-server --service-install –service-name redisService1 –port 10001
redis-server --service-start –service-name redisService1
4)卸载命令:
redis-server --service-uninstall
Item_cf召回的开发流程
-
抽取数据
-
基于数据用于item_cf 计算相似矩阵
-
将相似矩阵存入redis
user cf 的开发流程
-
抽取数据
-
基于数据用于user_cf 计算相似矩阵
-
将相似矩阵存入redis
FM召回的开发流程
-
抽取数据,构建正负样本
-
基于FM模型对构建的数据进行训练
-
将参数服务器中的对应参数向量保存(W值与V值)
-
基于对应参数向量获取到item向量,计算item的相似矩阵存入redis
-
把对应用户特征向量V存入对应的redis,用于向量服务
model说明
-
数据处理 data_processing_to_hash_tf_records.py
-
定义好输入inputs.py
-
对应模型的模块fm.py和mf.py
-
进入训练train.py和评估auc.py
-
与参数服务器进行交互ps.py
网友评论