分类

K-近邻

步骤:
1、初始化距离为最大值
2、计算未知样本和每个训练样本的距离dist
3、得到目前k个最邻近样本中的最大距离maxdist
4、如果dist小于maxdist，则将该训练样本作为K-最邻近样本
5、重复步骤2～4，直到未知样本和所有训练样本的距离都算完
6、统计K个最邻近样本中每个类别出现的次数
7、选择出现频率最大的类别作为未知样本的类别

贝叶斯分类

贝叶斯定理能够告诉我们如何利用新证据修改已有看法。
原理：对于给出的待分项，求解在此项出现的条件下各个类别出现的概率，哪个最大，就认为此待分项属于哪个类别。
步骤：
1、设x = {a1,a2,...am}为一个待分项类，而每个a为x的一个特征属性
2、有类别集合C = {y1,y2,...yn}
3、计算P(y1|x)，P(y2|x),...P(yn|x)
4、如果P(yk|x) = max{P(y1|x)，P(y2|x),...P(yn|x)},则x属于yk

神经网络模型

神经网络通常需要训练，训练的过程就是网络进行学习的过程，训练改变了网络节点的连接权的值使其具有分类功能，经过训练的网络就可以用于对象的识别。
步骤：
1、令D={(x,y),i=1,2,...n}是训练样例集。
2、用随机值初始化权值向量w
3、对每个训练样例（x，y）计算预测输出y
4、对每个权值w更新权值wj = wj+r（yi-yik）xij
5、重复步骤3，4直至满足终止条件

逻辑斯蒂

判别分析原理

支持向量机

SVM：构建了一个分割两类的超平面，在构建过程中，SVM算法试图使两类之间的分割达到最大化。

决策树