美文网首页
KNN库简介

KNN库简介

作者: 子鹿学生信 | 来源:发表于2020-07-13 22:14 被阅读0次

1.scikit-learn 中KNN相关的类库

机器学习经典库scikit-learn中的sklearn.neighbors包集成了近邻法相关的算法,KNN分类树算法使用KNeighborsClassifier,回归树使用KNeighborsRegressor。除此之外,还有KNN的扩展,即限定半径最近邻分类树RadiusNeighborsClassifier和限定半径最近邻回归树RadiusNeighborsRegressor,以及最近质心分类算法NearestCentroid。

在这些算法中,KNN分类和回归的类参数完全一样。限定半径最近邻法分类和回归的类的主要参数也和KNN基本一样。比较特别是的最近质心分类算法,由于它是直接选择最近质心来分类,所以仅有两个参数,距离度量和特征选择距离阈值。

限定半径最近邻算法,即样本中某系类别的样本非常的少,甚至少于K,这导致稀有类别样本在找K个最近邻的时候,会把距离其实较远的其他样本考虑进来,而导致预测不准确。为了解决这个问题,我们限定最近邻的一个最大距离,也就是说,我们只在一个距离范围内搜索所有的最近邻,这避免了上述问题。这个距离我们一般称为限定半径。

最近质心算法首先把样本按输出类别归类。对于第 L类的Cl个样本。它会对这Cl个样本的n维特征中每一维特征求平均值,最终该类别所有维度的n个平均值形成所谓的质心点。对于样本中的所有出现的类别,每个类别会最终得到一个质心点。当我们做预测时,仅仅需要比较预测样本和这些质心的距离,最小的距离对于的质心类别即为预测的类别。这个算法通常用在文本分类处理上。

2.K近邻法类库参数小结

image.png
image.png

3. KNN算法的优缺点

KNN的主要优点有:

1) 理论成熟,思想简单,既可以用来做分类也可以用来做回归

2) 可用于非线性分类

3) 训练时间复杂度比支持向量机之类的算法低,仅为O(n)

4) 和朴素贝叶斯之类的算法比,对数据没有假设,准确度高,对异常点不敏感

5) 由于KNN方法主要靠周围有限的邻近的样本,而不是靠判别类域的方法来确定所属类别的,因此对于类域的交叉或重叠较多的待分样本集来说,KNN方法较其他方法更为适合

6)该算法比较适用于样本容量比较大的类域的自动分类,而那些样本容量较小的类域采用这种算法比较容易产生误分

KNN的主要缺点有:

1)计算量大,尤其是特征数非常多的时候

2)样本不平衡的时候,对稀有类别的预测准确率低

3)KD树,球树之类的模型建立需要大量的内存

4)使用懒散学习方法,基本上不学习,导致预测时速度比起逻辑回归之类的算法慢

5)相比决策树模型,KNN模型可解释性不强

参考:

1.K近邻法(KNN)原理小结

2.scikit-learn K近邻法类库使用小结

image.png

相关文章

  • KNN库简介

    1.scikit-learn 中KNN相关的类库 机器学习经典库scikit-learn中的sklearn.nei...

  • Spark --基于DataFrame API实现KNN算法

    Spark -- 基于DataFrame API实现KNN算法 KNN简介 KNN(k-Nearest Neigh...

  • 用人话讲明白近邻算法KNN

    目录 1.KNN简介2.KNN算法步骤3.决策边界4.K的选择5.要注意的问题6.小结 1.KNN简介 KNN(K...

  • knn 简介

    简介 思想就是计算数据集中数据对应的向量和分类向量的欧式距离,最近的k个 优缺点 优点:精度高,对异常数据不敏感缺...

  • knn算法

    knn算法 knn算法简介 邻近算法,或者说K最近邻(kNN,k-NearestNeighbor)分类算法。所谓K...

  • KNN算法-1-KNN简介

    KNN入门 1、KNN简介 kNN(k-NearestNeighbor),也就是k最近邻算法,这是一种有监督的学习...

  • 机器学习算法之:KNN

    KNN算法简介 首先介绍一下KNN算法的几个特点: KNN,全称K-Nearest Neighbor,中文名为K近...

  • KNN算法实现及其交叉验证

    KNN算法 用NumPy库实现K-nearest neighbors回归或分类。 knn 邻近算法,或者说K最近邻...

  • KNN算法实现及其交叉验证

    KNN算法 用NumPy库实现K-nearest neighbors回归或分类。 邻近算法,或者说K最近邻(kNN...

  • KNN学习笔记

    kNN思想简介 kNN(k-NearestNeighbor),也就是k最近邻算法。顾名思义,所谓K最近邻,就是k个...

网友评论

      本文标题:KNN库简介

      本文链接:https://www.haomeiwen.com/subject/xexthktx.html