第四种方法：局部线性嵌入方法（LLE）

姓名：何源学号：21011210073 学院：通信工程学院

转载：【机器学习】【降维】局部线性嵌入(LLE)原理总结

【嵌牛导读】局部线性嵌入方法介绍

【嵌牛鼻子】局部线性嵌入（LLE）

【嵌牛提问】局部线性嵌入方法的思想是什么？什么是流行降维？

【嵌牛正文】

流行降维概述

基于流行的降维算法就是将流形从高维到低维的降维过程，在降维的过程中我们希望流形在高维的一些特征可以得到保留。一个形象的流形降维过程如图1所示。我们有一块卷起来的布，我们希望将其展开到一个二维平面，我们希望展开后的布能够在局部保持布结构的特征，其实也就是将其展开的过程，就像两个人将其拉开一样。

图1-流行降维过程

在局部保持结构的特征，或者说数据特征的方法有很 $w_{12}，w_{13}，w_{14}$ 多种，不同的保持方法对应不同的流形算法。比如等距映射（ISOMAP）算法在降维后希望保持样本之间的测地距离而不是欧式距离，因为测地距离更能反映样本之间在流形中的真实距离。但是等距映射算法有一个问题就是他要找所有样本全局的最优解，当数据量很大，样本维度很高时，计算非常耗时。

图2- 等距映射算法降维

局部线性嵌入方法思想

局部线性嵌入(Locally Linear Embedding，LLE）属于流形学习的一种，可以认为LLE中的流形是一个不闭合的曲面。这个流形曲面有数据分布比较均匀，且比较稠密的特征，有点像流水的味道。LLE首先假设数据在较小的局部是线性的，也就是说，某一个数据可以由它邻域中的几个样本来线性表示。比如我们有一个样本 $x_1$ ，我们在它的原始高维邻域里用 $K$ -近邻思想找到和它最近的三个样本 $x_2,x_3,x_4$ ,假设 $x_1$ 由 $x_2,x_3,x_4$ 线性表示，即：

$x_1=w_{12}x_2+w_{13}x_3+w_{14}x_4$

其中， $w_{12}，w_{13}，w_{14}$ 表示权重系数，在我们通过LLE降维后，我们希望 $x_1$ 在低维空间对应的投影 $\tilde{x} _1$ 和 $x_2,x_3,x_4$ 对应的投影 $\tilde{x} _2,\tilde{x} _3,\tilde{x} _4$ 尽量保持线性关系，即：