谱聚类
rbf kernel
原型聚类：Kmeans、GMM高斯混合模型【独立的cluster】
有些聚类算法是可以看作树状的重叠，不用输入k
kmeans的损失函数是每个类到中心点的平方误差和，且损失函数的最小化是一个NP问题
容易陷入局部最小。
那么陷入局部最小怎么办呢？
————kmeans对初始化中心敏感
改进：kmeans++
————缓解方法：
1. 初始第一个聚类中心为某个样本点，初始化第二个中心离第一个点最远，初始化第三个中心离前两个最远....
2. 多初始化几遍，选所有这些据类中损失函数（到聚类中心的平方和最小）
3. 优化的初始化聚类方法kmeans++
————关于k的选择
1. 很经典的“肘点法”--把损失函数在不同的k下的画出来
2. 选取不同的k值，画出损失函数曲线
3. 选取“肘点值”
图像聚合
kmeans不同k下的聚合
关于k的选定，比如80w商品，期望每个类有100个商品。直接聚合的话跑起来会非常的慢。这时会通过商品的一些文本信息，比如下装、牛仔裤、长裤，短裤等先做一个分类。可能聚合成200个类，然后再对这200个类并行跑。
还有一种情况比如说聚类成2000个类，再对每个类进行遍历，有些类里包含的样本个数非常少，这样的类是可以不分出来的，也能减少分类的个数。
kmeans先进行切分，逐层去用比较好。
kmeans和kmeans++的区别：
1. 初始化。kmeans随机初始化，kmeans++每次初始最远的点
-------kmeans的局限性
1. 属于“硬聚类”，每个样本只能有一个类别。其他的一些聚类方法（GMM或者模糊kmeans允许软聚类）
2. kmeans对于异常点的“免疫力”很差，我们可以通过一些调整（比如中心不直接取均值，而是找均值最近的样本点代替）
3. 对于团状的数据点集区分度好，对于带状（环绕）等“非凸”形状不太好。（用谱聚类或者特征映射）
带状聚类
对于密度不同的效果也不太好
-------层次聚类
层次聚类
----Kmeans VS 层次聚类
1. Kmeans这种扁平聚类产出一个聚类结果（都是独立的）
2. 层次聚类可以根据聚类程度不同，有不同的结果
3. Kmeans需要指定聚类的个数k，层次聚类不用
4. 通常来说Kmeans比层次聚类快
5. Kmeans用的多，可以用K-median
----高斯混合模型！其实我到现在不怎么懂
GMM的优势？
1. 可理解性好
看作多个分布的组合
2. 速度快
因为使用EM这种高效算法，时间复杂度O(tkn)
3. 学术上比较直观
最大数据似然概率
4. 可以拓展到其他分布的混合
多个多项式分布做类别判定
劣势：
1. 初始化要慎重，不然可能掉到局部最优里去
2. 需要手工指定K(高斯分布)的个数
3. 对于非凸的分布数据集也无能为力
总结：怎么做的
1. 根据当前的参数指定概率分布
2. 根据概率分布重新估计参数
网友评论