1.胶囊网络
胶囊网络与传统的神经网络一个是标量神经元,一个是向量神经元。
2.原始胶囊网络
2.Comirec - DR
在这里Comirec-DR也是同样的使用了胶囊网络中的动态路由算法来对其进行多兴趣表征的提取。
首先,我们记输入的序列为 ei,其中每一个item可以看作为一个胶囊,所提取出的多兴趣表征为 vj,其中每一个兴趣向量也可以看作是一个胶囊。r表示用户行为序列的长度,K表示所提取出的多兴趣向量的个数。
1.第一行对输入序列胶囊i与所产生的兴趣胶囊j的权重bij,bij初始化为0
2.第二行开始进行动态路由,这里和MIND一样,我们同样进行三次动态路由
3.第三行是对每一个序列胶囊i对应的所有兴趣胶囊j的权重bij进行Softmax归一化
4.第四行是对每一个兴趣胶囊j对应所有的序列胶囊i执行第四行中的计算,这里要注意Wij是序列胶囊i到兴趣胶囊j的映射矩阵,这样就完成了对序列到单个兴趣胶囊的特征提取,以此类推我们可以得到所有的兴趣胶囊
5.我们这里对4中得到的兴趣胶囊的表征通过squash激活函数激活
6.最后我们通过第6行中的公式来更新bij
7.至此就完成了一次动态路由,我们将这个过程重复三次就得到了完整的动态路由,也就完成了多兴趣表征的建模
网友评论