机器学习概述

机器学习是人工智能的一个分支，它是一门研究机器获取新知识和新技能，并识别现有知识的学问。机器学习的精确定义为：

It's a computer program learning from experience E with respect to some task T and some performance measure P, if its performance on T as measured by P, improves with E : Tom Mitchell 1998

机器学习已广泛应用于数据挖掘、计算机视觉、自然语言处理、生物特征识别、搜索引擎、医学诊断、检测信用卡欺诈、证券市场分析、DNA 序列测序、语音和手写识别、战略游戏和机器人等领域。

机器学习算法

(图片来自 blogs.sas.com)

机器学习算法分类

按学习的方式来划分，机器学习主要包括：

• 监督学习：输入数据带有标签。监督学习建立一个学习过程，将预测结果与 “训练数据”（即输入数据）的实际结果进行比较，不断的调整预测模型，直到模型的预测结果达到一个预期的准确率，比如分类和回归问题等。常用算法包括决策树、贝叶斯分类、最小二乘回归、逻辑回归、支持向量机、神经网络等。
• 非监督学习：输入数据没有标签，而是通过算法来推断数据的内在联系，比如聚类和关联规则学习等。常用算法包括独立成分分析、K-Means 和 Apriori 算法等。
• 半监督学习：输入数据部分标签，是监督学习的延伸，常用于分类和回归。常用算法包括图论推理算法、拉普拉斯支持向量机等。
• 强化学习：输入数据作为对模型的反馈，强调如何基于环境而行动，以取得最大化的预期利益。与监督式学习之间的区别在于，它并不需要出现正确的输入 / 输出对，也不需要精确校正次优化的行为。强化学习更加专注于在线规划，需要在探索（在未知的领域）和遵从（现有知识）之间找到平衡。

按照功能来划分，机器学习主要包括：

• 回归算法
  • 线性回归
  • 逻辑回归
  • 多元自适应回归（MARS）
  • 本地散点平滑估计（LOESS）
• 基于实例的学习算法
  • K - 邻近算法（kNN）
  • 学习矢量化（LVQ）
  • 自组织映射算法（SOM）
  • 局部加权学习算法（LWL）
• 正则化算法
  • 岭回归（Ridge Regression）
  • LASSO（Least Absolute Shrinkage and Selection Operator）
  • Elastic Net
  • 最小角回归（LARS）
• 决策树算法
  • 分类和回归树（CART）
  • ID3 算法 (Iterative Dichotomiser 3)
  • C4.5 和 C5.0
  • CHAID（Chi-squared Automatic Interaction Detection(）
  • 随机森林（Random Forest）
  • 多元自适应回归样条（MARS）
  • 梯度推进机（Gradient Boosting Machine， GBM）
• 贝叶斯算法
  • 朴素贝叶斯
  • 高斯朴素贝叶斯
  • 多项式朴素贝叶斯
  • AODE（Averaged One-Dependence Estimators）
  • 贝叶斯网络（Bayesian Belief Network）
• 基于核的算法
  • 支持向量机（SVM）
  • 径向基函数（Radial Basis Function ，RBF)
  • 线性判别分析（Linear Discriminate Analysis ，LDA)
• 聚类算法
  • K - 均值
  • K - 中位数
  • EM 算法
  • 分层聚类
• 关联规则学习
  • Apriori 算法
  • Eclat 算法
• 神经网络
  • 感知器
  • 反向传播算法（BP）
  • Hopfield 网络
  • 径向基函数网络（RBFN）
• 深度学习
  • 深度玻尔兹曼机（DBM）
  • 卷积神经网络（CNN）
  • 递归神经网络（RNN、LSTM）
  • 栈式自编码算法（Stacked Auto-Encoder）
• 降维算法
  • 主成分分析法（PCA）
  • 主成分回归（PCR）
  • 偏最小二乘回归（PLSR）
  • 萨蒙映射
  • 多维尺度分析法（MDS）
  • 投影寻踪法（PP）
  • 线性判别分析法（LDA）
  • 混合判别分析法（MDA）
  • 二次判别分析法（QDA）
  • 灵活判别分析法（Flexible Discriminant Analysis，FDA
• 集成算法
  • Boosting
  • Bagging
  • AdaBoost
  • 堆叠泛化（混合）
  • GBM 算法
  • GBRT 算法
  • 随机森林
• 其他算法
  • 特征选择算法
  • 性能评估算法
  • 自然语言处理
  • 计算机视觉
  • 推荐系统
  • 强化学习
  • 迁移学习