决策树算法实现自动摘要
决策树其实可以分为分类树和回归树两类，分类树是指输出每个样本的类别，而回归树则是值输出数值结果。
在应用中，决策树通常是基于一套规则来将数据分门别类，在一个数据集中，决策树算法会利用每一个样本的属性变量，并确定哪一个属性是最重要的，然后给出一系列的决策去最优地将数据划分为多个子集。
274F594F71953EC805C402CB06D52DA8.png
构造决策树的关键步骤是分裂属性。而且最终的分裂结果，则取决于选择的分裂度量准则。分裂度量准则的算法有很多，一般使用自顶向下递归分治法，并采用不回溯的贪心策略。
ID3算法存在一个问题，就是偏行于多值属性作为分裂属性，这样虽然使得划分充分纯净，但这种划分对于分类是毫无用处的。作为ID3的后续算法，C4.5算法使用增益率（gain ratio）作为判断准则，试图克服这个偏倚。
C4.5算法将信息增益实现了规范化，这样就可以实现不同数量分裂值的属性都可在同一水平上进行选择。
C4.5作为ID3的改进算法，其整体的分裂策略和剪枝策略与ID3基本一致。
基于逻辑回归算法实现自动摘要
逻辑回归本质上是线性回归，只是在特征到结果的映射中加入了一层函数映射，即先将特征线性求和，然后在使用一个被称为核函数的转换器，将最终的结果转化到假设函数来预测，核函数可以将线性求和值连续映射到0和1上。
逻辑回归的缺点也是很明显的，那就是它是一个线性分类器，所以对于变量中存在多个高度相关的变量时，求预测值就会受这些因素的严重影响，导致最终的预测结果不准确，所以可以在数据预处理的过程中，利用因子分析或者变量聚类分析等手段来选择代表性的自变量，以减少候选变量的相关性。
逻辑回归的另外一个问题就是：预测结果呈“s”型，也就是说，转化器在将预测值向概率转化的过程是非线性的，在两端随着预测值的变化概率变化很小，边际值太小，而中间概率的变化很大，很敏感。导致很多区间的变量变化对目标概率的影响没有区分度，无法确定阈值，针对这种情况，可以通过选择一个随之预测值线性变化的核函数，这样就可以针对两端的值也进行有效的反馈，但是需要注意的是，要排除异常值对模型权重的影响。
贝叶斯算法实现自动摘要
原理
整个朴素贝叶斯分类分为三个阶段
1.第一阶段：准备工作阶段，这个阶段的一项工作就是为统计工作准备素材，即确定要统计的指标。另一个是对训练数据按照确定的指标进行统计。这个步骤也是传说中的特征工程部分，对于指标的确定可以完全由人工确定，也可以确定一个规则，实现半自动化的指标提取。比如确定了一个规则为：统计元素的位置信息，那么对于一个单词、句子、高频词等只要类型为元素的都要统计其位置，当然对于位置的类型也可以预先定义，这样既可以实现自动的特征提取。
2.第二阶段：分类器训练阶段。这个阶段的任务是生成分类器，主要任务是计算每个类别在训练样本中出现的概率及每个特征属性划分对每个类别的条件概率估计，并将结果记录下来。这个阶段也可以做一些特征筛选工作，比如得到每个特征属性划分对每个类别的条件概率之后，可以根绝TF-IDF公式，对其概率进行进一步的优化调整。
3.第三阶段：应用阶段。这个阶段就是对待分类的数据，先根据在训练阶段确定的指标进行统计，获得其在各个指标下的具体值，然后根据具体的值计算其属于各个类别的概率。再然后将其归到概率值最大的类别中。
网友评论