首先思考一下什么情况下需要使用多个模态的信息？
姑且认为是：当一种模态不足以完整的去表现所识别的内容时。
举个例子：
1.做饭时用刀切菜和用擀面杖击打肉。
2.手机上加个味觉传感器，识别两种液体，一种是花生油一种是啤酒，
通过RGB只能识别出这两种都是液体， 而通过味觉传感器才能进一步确定具体的类别。
所以，多个模态的融合一定是利用他们的互补信息，进而才能提高识别率。
互补性在数据上的表现，考虑两列特征，X和Y ， 那么X和Y的相关系数的绝对值接近于0，才能说明这两列特征是互补的，即这两列特征即不是同向变化也不是反向变化，他们之间并不呈现出正相关和负相关的状态。
即只通过X特征只能识别出一部分样本的类别，比如X特征在在类别1,2,3上，每类的数值类内分布相近，类间分布相远。而在类别4，5上的分布是相近的，也就是说X特征在类别4，5的样本上并不能有效区分。但是特征Y在类别1，2，3的样本上不能有效区分，在类别4，5的样本上可以进行有效区分。那么这样的X和Y进行融合才有意义。
目前所遇到的问题是，相关系数是两个变量的分析，复相关系数是一个变量和一组变量的分析，目前没有找到关于一组特征与另一组特征的相关分析。
CCA典型特征分析的思想是将两组特征通过线性组合分别降至一维，通过对一维的相关系数的最大化，求得这两个相关性最大的变量。也就是说它求的是两个变量。而且是降至一维。
最重要的一点：它求得的是相关性大的，而不是接近于0的。
网友评论