mmoe

参考文献：https://blog.csdn.net/leon_winter/article/details/104314441

主要是多任务学习（Multi-Task Learning，MTL）

传统share bottom的结构：

可以直观的看到，这是一个双塔模型（或者多塔模型），在共享底部结构中，学习相似性，每个独立的塔在学习一下每个label的自己独立的特性，这样设计很有意思。但是之前我们说过，SB模型一个很重要的前提就是任务相关性，如果多个label的相关性比较差，那共享的底部结构就是一种相互负面影响，会对每个label的预测带来一定的负面影响。但是相似性问题本身就没有一个明确的度量，在全世界范围内都是一个开放问题，那么多相似性度量指标咱们怎么选，为何这样能衡量相似性，这就陷入了另一个问题之中。

  因此，一些研究就尝试利用神经网络学习的方法，自动解决这个相似性的问题，其中一种方法是引入门结构（gating structures），这就有一些很有名的改进型，例如MMOE（Multi-gate Mixture-of-Experts）和SNR（Sub-Network Routing）。

MMOE结构如下：