MMOE模型的基础结构
概念
多目标任务学习（MTL）指有两个或两个以上的目标函数，目的是寻求一种排序使得所有的目标函数都达到最优或满意
相关指标：点击，浏览时长，加购物车，收藏，购买，复购，好评等
主要目标
-
多个目标定义一个综合的损失函数
-
多个任务之间信息共享的复杂性和差异性
CTR与CVR之间的平衡（跷跷板现象）
模型结构
image-20220210104412542.png
两种不同目标
第一部分：Output A & Tower A
第二部分：Gate A/B 不同门控
第三部分：Expert 0/1/2 不同专家，信息共享块
第四部分：Input输入
整体结构抽象看，如下图：
1_new.jpg
将DNN模块抽象为特征抽取器模式，我们来仔细看特征抽取器中有哪些内容。
注：这些都可以任意替换。
2.jpg
基于ESMM
image-20220210110520580.png
image-20220124193102976.png
从ESMM延伸到MMOE
image-20220124193732019.png
image-20220124193802009.png
门控 softmax归一化后 输出的权重个数 = 专家系统个数
区别于ESMM：
-
专家系统
-
门控
MMOE的注意事项
多个expert加权求和
gate的softmax输出长度 = 专家系统个数
MMOE的应用场景
广告、推荐、搜索等排序场景
需要对多个目标进行同时提升的情况
网友评论