1.C4.5
C4.5是决策树算法的一种，决策树算法作为一种分类算法，目标就是将具有p维特征的n个样本分到c个类别中去
基本思想
下面以一个例子来详细说明C4.5的基本思想
20160611211334168.png
上述数据集有四个属性，属性集合A={天气，温度，湿度，风速},类别标签有两个，类别集合L={进行，取消}
优点：
产生的分类规则易于理解，准确率高
缺点：
在构造树的过程中，需要对数据集进行多次的顺序扫描和排序，因而导致算法的低效
2.K-Means算法
又叫k-均值算法，是监督学习中的聚类算法
基本思想
k-means算法比较简单,在k-means算法中,用cluster来表示簇，容易证明k-means算法收敛等同于所有质心不在发生变化,基本的k-means算法流程如下：
1.选取k个初始质心(作为初始cluster,每个初始cluster只包含一个点);
repeat:
对每个样本点,计算得到距其最近的质心,将其类别标为该质心所对应的cluster;
重新计算k个cluster对应的质心（质心是cluster中样本点的均值);
until 质心不再发生变化
repeat的次数决定了算法的迭代次数,实际上,k-means的本质是最小化目标函数,目标函数为每个点到簇质心的距离的平方和:
image.png
N是元素个数,x表示元素,c(j)表示第j簇的质心
算法复杂度：
时间复杂度是O(nkt),其中n代表元素个数,t代表算法迭代的次数,k代表簇的数目
优缺点:
优点:
1.简单,快速
2.对大数据集有较高的效率并且是可伸缩性的‘
3.时间复杂度近于线性,适合挖掘大规模数据集
缺点：
1.k-means是局部最优，因而对初始质心的选取敏感;
2.选择能达到目标函数最优的k值是非常困难的
3.SVM算法
SVM(Support Vector Machine)中文名为支持向量机,最常的一种判别方法,在机器学习领域,是一个有监督的学习模型,通常用来进行模式识别,分类以及回归分析
相关概念：
分类器：分类器就是给定一个样本的数据，判定这个样本属于哪个类别的算法。例如在股票涨跌预测中，我们认为前一天的交易量和收盘价对于第二天的涨跌是有影响的，那么分类器就是通过样本的交易量和收盘价预测第二天的涨跌情况的算法。
特征：在分类问题中，输入到分类器中的数据叫做特征。以上面的股票涨跌预测问题为例，特征就是前一天的交易量和收盘价
线性分类器：线性分类器是分类器中的一种，就是判定分类结果的根据是通过特征的线性组合得到的，不能通过特征的非线性运算结果作为判定根据。还以上面的股票涨跌预测问题为例，判断的依据只能是前一天的交易量和收盘价的线性组合，不能将交易量和收盘价进行开方，平方等运算。
支持向量机 VS 感知器和逻辑回归
我们知道了在多维空间下，用一个超平面就把数据分为了两类。这个超平面我们叫它为分离超平面。但是这个分离超平面可以有很多个，那么用哪个呢？
image.png
上图中，对于目前的训练数据，绿色和黑色的直线（二维特征空间，分离超平面就是直线啦）都可以很可以很好的进行分类。但是，通过已知数据建立分离超平面的目的，是为了对于未知数据进行分类的。在下图中，蓝色的星星图案就是新加入的真实数据。
网友评论