线性回归
线性回归是基础的算法之一，从人类科学的进展上可以得到当代人类只解决线性问题就能解决人类生活中的相当一部分基础问题，这标志着与上个世纪的生活彻底的分割，带来了新一代的进化。比如在物理上面运用线性微分方程的解就可以实现对物体的控制，使其达到不可思议的精确程度。
在统计学和机器学习领域，这个学科主要解决在特征不完全一致，或者建立特征需要巨大规模的人类简单操作，通过训练机器我们可以让计算机代替这部分工作，从而带来生产力的提高，模型是至关重要的，线性模型是去除次要关联，提取主要趋势的一种方式，它无法精确的预测下一次坐标出现的位置，但是却可以给出这个点出现概率的期望位置，一元线性线性回归是最简单的方式，在此基础上是多元线性，涉及的因素更多，而且引入了更多的评价指标用于评估模型与实际情况的偏差。
一元回归.jpg
通过给一元模型x和y的数据集，来求得系数b0和b1.在一些不是精确需求的领域可以通过一元回归得到下一步分析方向，或者验证假设的对应关系。
2.logistic回归
该方法是二分类方法的首选，与线性回归不同，logistic通过输出函数（非线性函数）变换得到
3.决策树
决策树是一种关键的机器学习算法，决策树是一个二叉树，类比等同于数据结构中的二叉树，每个节点代表一个输入变量（x）和一个基于该变量的分岔点，它的叶子节点包含一个作出预测的输出变量，预测结果通过在树的各个分叉路径上游走，直到到达一个叶子节点并输出该叶子节点的类别值得出，在大量问题中往往比较准确，学习速度也比较快。
决策树
4.朴素贝叶斯
朴素贝叶斯也许是人类大脑的运作方式，这种模型简单而强大。模型由两类可直接从训练数据集中计算出来的概率组成：
- 数据属于每一类的概率
-
给定x值，数据从属于每个类的条件概率。
当数据是自然实数时，假设数据符合高斯分布，估计概率很容易。
贝叶斯定理之所以被称为朴素，是因为这个模型假设每个输入变量相互之间是独立的，属于古典概率，虽然假设并不实际，但是具体应用中效果比较良好。
朴素贝叶斯
5 k最近邻算法（knn）
k最邻算法非常简单有效，模型的预测是通过在整个训练集合上搜索与该数据点最相似的k个实例并总结k个实例的输出变量而得出。
在回归问题上，输出的是变量均值，分类问题输出可能是结果中的众数。
这个栗子其实很好理解，本质上是有限度的控制变量，通过给出输入变量的近似值来间接判断是否通过模型后产生符合客观情况的现象，这种训练可以逐渐探查出变化的边界，或者说是同类数据的分界线。
这种训练的关键在于如何判断输入数据之间的相似程度。缺点是需要训练和存储全部数据集
6.支持向量机 （svm）
svm是目前最流行的机器学习算法之一，超平面是一条对输入变量空间进行划分的「直线」。支持向量机会选出一个将输入变量空间中的点按类(类 0 或类 1)进行最佳分割的超平面。在二维空间中，你可以把他想象成一条直线，假设所有输入点都可以被这条直线完全地划分开来。SVM 学习算法旨在寻找最终通过超平面得到最佳类别分割的系数。超平面与最近数据点之间的距离叫作间隔(margin)。能够将两个类分开的最佳超平面是具有最大间隔的直线。只有这些点与超平面的定义和分类器的构建有关，这些点叫作支持向量，它们支持或定义超平面。在实际应用中，人们采用一种优化算法来寻找使间隔最大化的系数值。
支持向量机
支持向量机可能是目前可以直接使用的最强大的分类器之一，值得你在自己的数据集上试一试。
7.随机森林随机森林是最流行也最强大的机器学习算法之一，它是一种集成机器学习算法。
自助法是一种从数据样本中估计某个量(例如平均值)的强大统计学方法。你需要在数据中取出大量的样本，计算均值，然后对每次取样计算出的均值再取平均，从而得到对所有数据的真实均值更好的估计。
Bagging 使用了相同的方法。但是最常见的做法是使用决策树，而不是对整个统计模型进行估计。Bagging 会在训练数据中取多个样本，然后为每个数据样本构建模型。当你需要对新数据进行预测时，每个模型都会产生一个预测结果，Bagging 会对所有模型的预测结果取平均，以便更好地估计真实的输出值。
随机森林
随机森林是这种方法的改进，它会创建决策树，这样就不用选择最优分割点，而是通过引入随机性来进行次优分割。
因此，为每个数据样本创建的模型比在其它情况下创建的模型更加独特，但是这种独特的方式仍能保证较高的准确率。结合它们的预测结果可以更好地估计真实的输出值。
如果你使用具有高方差的算法(例如决策树)获得了良好的结果，那么你通常可以通过对该算法执行 Bagging 获得更好的结果。
网友评论