低秩与稀疏,是机器学习领域非常重要的特性。
在机器学习领域,实际上很多算法结构中都包含了低秩的思想,如在FM和word2vec的结构设计中(参考FM在时间空间复杂度的削减),本质上就是对二阶项参数矩阵做出了低秩的假设,并用dnn学习其低秩的表达(参数)。在协同过滤CF的模型化学习中,其SVD分解的模型计算方式,也是对其进行低秩假设的思路。在大规模Kernel SVM的也有低秩逼近的方法被提出。[2]
同时,很多方法的改进以及问题瓶颈的分析,都跟低秩有关(low rank,DNN在NLP领域的瓶颈,深度学习中是否需要特征工程)
[2] Scaling up Kernel SVM on Limited Resources:
A Low-rank Linearization Approach
网友评论