机器学习之KNN

作者: 晓迦 | 来源:发表于2019-04-07 19:15 被阅读22次

KNN:采用测量不同特征值间的距离或相似度的方法进行分类。
算法原理:如果一个样本在特征空间的K个最相似(最邻近)的样本中的大多数属于某类别,则此样本属于该类别。
算法决策过程

  1. 将新数据的每个特征与样本集中数据对应的特征比较
  2. 提取样本集中特征最相似(最邻近)的K个数据的分类标签
  3. 选择K个最相似数据中出现次数最多的分类标签,作为新数据的分类标签
    K值大小的影响
    较小的K值:用较少训练实例预测,对近邻数据非常敏感,模型的泛化能力较差,容易过拟合。
    较大的K值:用较多的训练实例进行预测,这意味着距离较远的实例也会起作用,使近似误差增大,容易发生欠拟合。

优点:简单、易理解和实现;无需估计参数,无需训练;精度高,对异常值不敏感;适用于多分类问题。
缺点:当样本不平衡时,效果较差;计算量大,对内存的要求也较大;可理解性差,无法给出向决策树那样的规则。

相关文章

  • 机器学习之KNN

    @[toc] 机器学习相关概念 出现的代码资源和jupyter记事本源代码戳这边下载源码和数据) 机器学习定义  ...

  • 机器学习之KNN

    KNN:采用测量不同特征值间的距离或相似度的方法进行分类。算法原理:如果一个样本在特征空间的K个最相似(最邻近)的...

  • 机器学习之深入理解K-means、与KNN算法区别及其代码实现

    机器学习之深入理解K-means、与KNN算法区别及其代码实现

  • 机器学习实战-knn

    机器学习实战笔记-knn算法实战 本文内容源于《机器学习实战》一书,主要介绍了knn(k-nearest neig...

  • 第六节分类算法

    1knn算法 1.1knn的过程 1.2scilit-learn中的knn 1.3scikit-learn机器学习...

  • 机器学习之KNN算法

    一、机器学习基本分类(原文链接): ①监督学习(Supervised learning) 数据集中的每个样本有相应...

  • 机器学习算法之:KNN

    KNN算法简介 首先介绍一下KNN算法的几个特点: KNN,全称K-Nearest Neighbor,中文名为K近...

  • 01 KNN算法 - 概述

    KNN算法全称是K近邻算法 (K-nearst neighbors,KNN) KNN是一种基本的机器学习算法,所谓...

  • KNN算法以及欧式距离

    1.KNN算法介绍 KNN 是什么? KNN(K-Nearest Neighbor)是最简单的机器学习算法之一,可...

  • 机器学习-KNN

    sklearn中的train_test_split 4.4分类准确度accuracy 不需要求出预测值 只要求预测...

网友评论

    本文标题:机器学习之KNN

    本文链接:https://www.haomeiwen.com/subject/rdjmkqtx.html