从贝叶斯到深度学习及各自优缺点

image.png

正则化算法（Regularization Algorithms）

回归的拓展，会基于模型复杂性对其进行惩罚，它喜欢相对简单能够更好的泛化的模型。

• 岭回归（Ridge Regression）

• 最小绝对收缩与选择算子（LASSO）

• GLASSO

• 弹性网络（Elastic Net）

• 最小角回归（Least-Angle Regression）

• 优缺点：
  其惩罚会减少过拟合；造成欠拟合；很难校准；

集成算法（Ensemble Algorithms）

多个较弱的模型集成模型组，模型可以单独进行训练，预测能以某种方式结合去做总体预测；比使用单个模型预测出来的结果要精确；

• Boosting

• Bootstrapped Aggregation（Bagging）

• AdaBoost

• 层叠泛化（Stacked Generalization）（blending）

• 梯度推进机（Gradient Boosting Machines，GBM）

• 梯度提升回归树（Gradient Boosted Regression Trees，GBRT）

• 随机森林（Random Forest）

决策树算法（Decision Tree Algorithm）

• 决策树算法（Decision Tree Algorithm）
  使用一个决策树作为一个预测模型，它将对一个 item（表征在分支上）观察所得映射成关于该 item 的目标值的结论（表征在叶子中）。
  目标是可变的，可以采一组有限值，被称为分类树；在这些树结构中，叶子表示类标签，分支表示表征这些类标签的连接的特征。

• 分类和回归树（Classification and Regression Tree，CART）
  I- terative Dichotomiser 3（ID3）

• C4.5 和 C5.0（一种强大方法的两个不同版本）

• 优缺点：
  非参数易理解；容易过拟合 陷入局部最小；没有在线学习；

回归（Regression）

能在给定自变量的条件下估计出因变量的条件期望；

• 普通最小二乘回归（Ordinary Least Squares Regression，OLSR）

• 线性回归（Linear Regression）

• 逻辑回归（Logistic Regression）

• 逐步回归（Stepwise Regression）

• 多元自适应回归样条（Multivariate Adaptive Regression Splines，MARS）

• 本地散点平滑估计（Locally Estimated Scatterplot Smoothing，LOESS）

• 优缺点：
  严格假设；异常值处理；

人工神经网络（Artificial Neural Network）

受生物神经网络启发，模式匹配，用于回归和分类；

• 感知器

• 反向传播

• Hopfield 网络

• 径向基函数网络（Radial Basis Function Network，RBFN）

深度学习（Deep Learning）

支持向量机（Support Vector Machine）

降维算法（Dimensionality Reduction Algorithms）

聚类算法（Clustering Algorithms）

基于实例的算法（Instance-based Algorithms）

贝叶斯算法（Bayesian Algorithms）

关联规则学习算法（Association Rule Learning Algorithms）

图模型（Graphical Models）
https://zhuanlan.zhihu.com/p/25327755