美文网首页
机器学习读书笔记 — KNN

机器学习读书笔记 — KNN

作者: 爱秋刀鱼的猫 | 来源:发表于2018-01-27 19:54 被阅读0次

1.KNN
kNN是一种分类的算法,这个算法的思路非常简单。对于给定的训练数据集,对于新输入的实例,在训练数据集中找打与该实例最临近的k个实例,在这k个实例里面,多数属于某一类的话,就把这个实例归于某一类。

如果k=3 ,那么从所有的点里面找到离新输入的实例最近的三个点。如下图所示。那么在这三个点里面,多数的点属于三角类。那么就认为新输入的点属于三角类。


image.png

如果k=5,那么从所有的点里面找到离新输入的实例最近的五个点。如下图所示,那么在这三个点里面,多数的点属于圆圈类。那么就认为新输入的点属于圆圈类。


image.png

KNN的算法本身是比较简单的,对于上面的例子,选择k=3还是k=5是一个完全不同的结果。KNN算法的核心在于选择合适的k值。

  1. kd树
    knn在计算的时候,需要计算待分类的样本点到所有样本的距离之后,才能找到最近的前k个点。最简单的办法就是线性扫描,这样做的缺点是计算开销比较大。解决的办法就是使用kd树(k-dimensional树的简称)的方法。
  • 构建kd树
  • 搜索kd树

参考文献

  1. 李航《统计学习方法》

相关文章

  • 机器学习实战-knn

    机器学习实战笔记-knn算法实战 本文内容源于《机器学习实战》一书,主要介绍了knn(k-nearest neig...

  • 第六节分类算法

    1knn算法 1.1knn的过程 1.2scilit-learn中的knn 1.3scikit-learn机器学习...

  • 01 KNN算法 - 概述

    KNN算法全称是K近邻算法 (K-nearst neighbors,KNN) KNN是一种基本的机器学习算法,所谓...

  • KNN算法以及欧式距离

    1.KNN算法介绍 KNN 是什么? KNN(K-Nearest Neighbor)是最简单的机器学习算法之一,可...

  • 机器学习读书笔记 — KNN

    1.KNNkNN是一种分类的算法,这个算法的思路非常简单。对于给定的训练数据集,对于新输入的实例,在训练数据集中找...

  • 机器学习-KNN

    sklearn中的train_test_split 4.4分类准确度accuracy 不需要求出预测值 只要求预测...

  • 机器学习-knn

    生成已标记的数据集并直观显示 训练 预测 把带预测的样本以及和其最近的5个点标记出来

  • 机器学习: KNN

    KNN (K Nearest Neighbor) 是比较常见的种监督算法。它的主要思想是看这个数据距离最近的 K ...

  • 机器学习KNN

    代码带注释 一般在机器学习模型中会涉及到衡量两个样本间的距离,如聚类、KNN,K-means等,使用的距离为欧式距...

  • kNN算法

    一. kNN算法 kNN(k-NearestNeighbor),即k最近邻算法,是机器学习算法中最基础的入门算法。...

网友评论

      本文标题:机器学习读书笔记 — KNN

      本文链接:https://www.haomeiwen.com/subject/jygbaxtx.html