美文网首页
机器学习笔记5-k-means和k-medoids

机器学习笔记5-k-means和k-medoids

作者: 江湾青年 | 来源:发表于2021-07-24 21:48 被阅读0次

简单对比一下这两者的区别。两者的主要区别主要在质心的选择中,k-means是样本点均值,k-medoids则是从样本点中选取。

首先给出两者的算法实现步骤:

K-means

  1. 随机选取K个质心的值
  2. 计算各个点到质心的距离
  3. 将点的类划分为离他最近的质心,形成K个cluster
  4. 根据分类好的cluster,在每个cluster内重新计算质心(平均每个点的值)
  5. 重复迭代2-4步直到满足迭代次数或误差小于指定的值

K-medoids

  1. 随机选取K个质心的值 (质心必须是某些样本点的值,而不是任意值)
  2. 计算各个点到质心的距离
  3. 将点的类划分为离他最近的质心,形成K个cluster
  4. 根据分类好的cluster,在每个cluster内重新计算质心:
    4.1 计算cluster内所有样本点到其中一个样本点的曼哈顿距离和(绝对误差)
    4.2 选出使cluster绝对误差最小的样本点作为质心
  5. 重复迭代2-4步直到满足迭代次数或误差小于指定的值

以上就可以看出两者之间的区别:

k-means的质心是各个样本点的平均,可能是样本点中不存在的点。
k-medoids的质心一定是某个样本点的值。


这个不同使他们具有不同的优缺点

  1. k-medoids的运行速度较慢,计算质心的步骤时间复杂度是O(n^2),因为他必须计算任意两点之间的距离。而k-means只需平均即可。
    2、k-medoids对噪声鲁棒性比较好。例:当一个cluster样本点只有少数几个,如(1,1)(1,2)(2,1)(100,100)。其中(100,100)是噪声。如果按照k-means质心大致会处在(1,1)(100,100)中间,这显然不是我们想要的。这时k-medoids就可以避免这种情况,他会在(1,1)(1,2)(2,1)(100,100)中选出一个样本点使cluster的绝对误差最小,计算可知一定会在前三个点中选取。

参考

https://blog.csdn.net/databatman/article/details/50445561

相关文章

  • 机器学习笔记5-k-means和k-medoids

    简单对比一下这两者的区别。两者的主要区别主要在质心的选择中,k-means是样本点均值,k-medoids则是从样...

  • 机器学习和算法

    机器学习算法 github主页:机器学习和算法 最近以来一直在学习机器学习和算法,然后自己就在不断总结和写笔记,记...

  • 逻辑回归

    点击链接:逻辑回归 NG机器学习公开课笔记:机器学习笔记

  • 多元线性回归

    链接:多元线性回归 NG机器学习公开课笔记:机器学习笔记

  • 机器学习资料汇总

    机器学习课程 台湾国立大学林轩田的机器学习基石和机器学习技法:包括老师主页,b站视频(基石和技法),很全面的笔记(...

  • 内容整理(持续更新)

    机器学习基础 视频教程:吴恩达机器学习-网易云公开课笔记地址:机器学习笔记作业练习:https://github....

  • 机器学习笔记1

    机器学习笔记1

  • 2019-03-28

    简单的学习笔记和记录,以教促学 为了科研工作,需要进行机器学习方面学习,又缺乏编程工具基础,因此python和机器...

  • 对话深度学习3:Activation Function 激活函数

    回顾 DeepLearning笔记:机器学习和深度学习的区别 对话深度学习1:Neural Networks 神经...

  • 对话深度学习2:Linear regression 线性回归

    回顾 DeepLearning笔记:机器学习和深度学习的区别 对话深度学习1:Neural Networks 神经...

网友评论

      本文标题:机器学习笔记5-k-means和k-medoids

      本文链接:https://www.haomeiwen.com/subject/bsgvmltx.html