1、感知机学习
1.1 学习原理
假设训练数据是线性可分的，感知机学习的目标是求得一个能够将训练集正负实例点完全分开的分离超平面即f(x) = sign(wx + b)
1.2 损失函数
感知机学习里的策略是极小化误分类点到分离超平面的总距离
1.3 优化思路
感知机的学习算法是基于随机梯度下降法对损失函数的最优化算法，首先选取一个超平面，然后用梯度下降法不断极小化目标函数。在这个过程中，随机选取一个误分类点使其梯度下降。感知机的学习算法存在无穷多个解，其解由于不同的初值和不同的迭代顺序而有所不同。
1.4 其他
感知机是神经网络与支持向量机的基础
2、K近邻
2.1 学习原理
对于给定的训练实例点和输入实例点，首先确定输入实例点的k个最近邻训练实例点，然后利用这k个训练实例点的类别中的多数来预测输入实例点的类。
2.2 原理简介
K近邻算法不需要显式的进行学习，K近邻模型对应于基于训练数据集对特征空间的一个划分，当模型的三要素：距离度量、K值的选择和分类决策规则确定后，模型预测结果唯一确定。
2.3 原理解析
常用的距离度量是欧式距离及更一般的曼哈顿距离。K值小时，K近邻模型更复杂；K值大时，K近邻模型更简单。K值的选择反映了对近似误差与估计误差之间的权衡，通常由交叉验证选择最优的K，常用的分类决策规则是多数表决，对应于经验风险最小化。
2.4 近邻查找算法
K近邻法的实现需要考虑如何快速搜索K个最近邻点。KD树是一种便于对K维空间中的数据进行快速搜索的数据结构，KD树是二叉树，表示对K维空间的一个划分，其每个结点对应于K维空间划分中的一个超矩形区域，利用KD树可以省去对大部分数据点的搜索，从而减少搜索的计算量。
3、朴素贝叶斯
朴素贝叶斯法是基于贝叶斯定理与特征条件独立性假设的分类方法。对于给定的训练数据集，首先基于条件独立性假设学习输入、输出的联合概率分布，然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。
4、逻辑回归
4、最大熵
5、决策树
6、SVM
7、HMM
隐藏马可夫是关于时序的概率模型，描述由一个隐藏的马尔可夫链随机生成的不可观测的状态随机序列，再由各个状态生成一个观测而产生观测随机序列的过程。
HMM模型作的两个基本假设：
1.齐次马尔科夫性假设，即假设隐藏的马尔科夫链在任意时刻t的状态只依赖于其前一时刻的状态，与其它时刻的状态及观测无关，也与时刻t无关；
2.观测独立性假设，即假设任意时刻的观测只依赖于该时刻的马尔科夫链的状态，与其它观测和状态无关，
隐藏马可夫模型由初始概率分布π、状态转移概率分布A以及观测概率分布确定B。
隐藏马可夫模型三个基本问题：
（1）、概率计算问题：给定模型λ=（A，B，π）和观测序列O=(o1，o2，o3，...., oT)，计算在模型λ下观测序列O出现的概率P(O|λ)。
（2）、学习问题：已知观测序列O=(o1，o2，o3，...., oT)，估计模型λ=（A，B，π）参数，使得在该模型下观测序列概率P(O|λ)最大，即用极大似然估计的方法估计参数。
（3）、预测问题：也称为解码问题，已知模型λ=（A，B，π）和观测序列O=(o1，o2，o3，...., oT)，求对给定观测序列条件概率P(I|O)最大状态序列I=（i1，i2，i3，...., iT），即给定观测序列，求最有可能的对应的状态序列。
8、CRF
条件随机场是指给定一组随机变量X条件下，另一组输出随机变量Y的条件概率模型，特点是假设输出随机变量构成马尔可夫随机场。学习时，利用训练数据通过极大似然估计或正则化的极大似然估计得到条件概率模型P(Y|X)；预测时，对于给定的输入序列X，求出条件概率P(Y|X)最大的输出序列Y。
网友评论