今天带来的是推荐系统架构的总览，围绕AB测试、微服务与模型更新三大部分展开，后续会不断展开详细内容，欢迎关注！
image-20220219134305616.png
AB test
image-20220219134321865.png
AB分流
划分依据: uid,MAC,cookie,IMEI
划分方式: 基础组3%，试验组3%，对照组3%
划分标准
-
流量均等
-
分布一致
-
彼此正交
image-20220219134428414.png
结果对比
image-20220219134611647.png
| 模型 | 展现量n | 点击量 k | 点击率 | 方差S^2 |
|---|---|---|---|---|
| A | 99458 | 10045 | 0.101 | 0.091 |
| B | 100134 | 9282 | 0.093 | 0.084 |
| C | 99705 | 10268 | 0.103 | 0.092 |
微服务
image-20220219134724877.png
RPC请求过程
-
序列化协议：json, protobuf, thrift
-
服务注册：zookeeper, Consul, etcd
-
负载均衡：加权轮询法，最小并发度法
-
通信：TCP, epoll
同步调用
image-20220219134820809.png
模型更新
日志收集
image-20220219134938544.png
模型增量更新
模型增量更新的好处：样本量可以一直累加，享受样本量增加带来的持续收益
保存老模型，等新样本到来后再加载老模型，继续训练。模型文件里一定要保存优化器的中间状态
pytorch在保存模型时需要指定'optimizer': optimizer.state_dict()；
tensorflow默认生成的checkpoint文件就可以满足增量更新的需求
分布式训练
image-20220219135102526.png
image-20220219135117086.png
参数服务器
参数的分布存储
image-20220219135139903.png
读取参数
image-20220219135210310.png
更新参数
image-20220219135239148.png
监控系统
基础组件
-
实时监控。influxDB、Prometheus等时序数据库(TSDB)
-
小时级监控。hive、clickhouse等sql数据库
网友评论