Bilinear pooling

1、基本定义：
（1）Bilinear pooling：双线性池化
（2）sum pooling：
（3）矩阵分解：
（4）element-wise product：对应元素的乘法，要求两矩阵的维度必须一致，从而确保对应位置元素相乘。element-wise product和inner product的区别在于只进行相乘操作，不进行求和操作。
（5）inner product（内积）：又称为点乘（dot product）、数量积，必须满足第一个矩阵的列数等于第二个矩阵的行数。结果是标量。

向量点积：
定义：a⋅b=||a||||b||cos(θ)，即是两个向量的模和两向量夹角余弦的乘积。
矩阵内积：
定义：内积是一种降维运算，变成一个数。矩阵的内积是每行每列的点积所组成的矩阵。所以，点积是一维向量之间的操作，内积是多维向量，即矩阵的操作。两者本质是一样的。其实，内积就是我们一般常用的矩阵乘积，行列进行相互乘积，作为结果矩阵指定位置的元素结果值。所以，要求a矩阵的列数量等于b矩阵的行数量。

（6）outer product（外积）：两个向量的叉乘，又叫做向量积、外积、叉积。结果是向量，是向量的升维运算。并且两个向量的外积与这两个向量组成的坐标平面垂直。m维向量和n维向量的外积是m*n维矩阵。
定义a×b
矩阵外积：
假设a的维度是（m，n），b的维度是（p，q）

矩阵外积

向量外积：

向量
向量外积
image.png

叉乘几何意义:
在三维几何中，向量a和向量b的叉乘结果是一个向量，更为熟知的叫法是法向量，该向量垂直于a和b向量构成的平面。
在二维空间中，叉乘还有另外一个几何意义就是：aXb等于由向量a和向量b构成的平行四边形的面积。

（7）Hadamard product（哈达玛积）：哈达玛积(Hadamard product)是矩阵的一类运算，若A=(a_ij)和B=(b_ij)是两个同阶矩阵，若c_ij=a_ij×b_ij,则称矩阵C=(c_ij)为A和B的哈达玛积，或称基本积 。是矩阵形式的element-wise product

参考：DeepLearing学习笔记-数据矢量化