美文网首页
pyspark高斯混合聚类

pyspark高斯混合聚类

作者: 米斯特芳 | 来源:发表于2021-08-11 22:41 被阅读0次

高斯混合聚类的思想比较简单,学过级数展开的都知道,一个符合条件(啥条件不记得了)的函数可以展开为多个三角函数的线性组合。
高斯混合聚类则是将数据的分布展开为K个正态分布的组合(即多元正态分布),然后求出这个多元正态分布的均值向量与协方差矩阵。

from pyspark.ml.clustering import GaussianMixture
from pyspark.sql import SparkSession

spark = SparkSession\
    .builder\
    .appName("GaussianMixtureExample")\
    .getOrCreate()

dataset = spark.read.format("libsvm").load("sample_kmeans_data.txt")

gmm = GaussianMixture().setK(2).setSeed(538009335)
model = gmm.fit(dataset)

print("Gaussians shown as a DataFrame: ")
model.gaussiansDF.show(truncate=False)# 均值向量与协方差矩阵


相关文章

  • pyspark高斯混合聚类

    高斯混合聚类的思想比较简单,学过级数展开的都知道,一个符合条件(啥条件不记得了)的函数可以展开为多个三角函数的线性...

  • 高斯混合模型

    高斯混合模型(Gaussian Mixture Model)高斯混合模型,通常简称GMM,是一种广泛使用的聚类算法...

  • 聚类与应用

    谱聚类 rbf kernel 原型聚类:Kmeans、GMM高斯混合模型【独立的cluster】 有些聚类算法是可...

  • 4 聚类 - 高斯混合聚类

    背景 协方差与相关系数协方差描述两变量变化的相似度,相关系数除去了变量变化幅度的影响 高斯混合模型多个高斯分布混合...

  • 机器学习笔记(17):聚类(2)

    本文来自之前在Udacity上自学机器学习的系列笔记。这是第17篇,介绍了什么是聚类(2),介绍软聚类(高斯混合聚...

  • GMM高斯混合模型

    简述:高斯混合模型是一种常见的聚类算法,与K均值算法类似,同样使用了EM算法进行迭代。高斯混合模型假设每个簇的数据...

  • 高斯混合模型

    简述:高斯混合模型是一种常见的聚类算法,与K均值算法类似,同样使用了EM算法进行迭代。高斯混合模型假设每个簇的数据...

  • 6.2.高斯混合聚类

    EM算法 期望极大算法.它是一种迭代算法,用于含有隐变量的概率模型参数估计.EM算法的每次迭代由两步组成:E步求期...

  • 使用mclust进行聚类分析

    mclust(Model-based clustering) 能够基于高斯有限混合模型进行聚类,分类以及密度估计(...

  • 高斯混合模型(GMM)的最大期望(EM)聚类

    使用高斯混合模型(GMM)做聚类首先假设数据点是呈高斯分布的,相对应K-Means假设数据点是圆形的,高斯分布(椭...

网友评论

      本文标题:pyspark高斯混合聚类

      本文链接:https://www.haomeiwen.com/subject/tbxkbltx.html