image.png
正则化算法（Regularization Algorithms）
回归的拓展，会基于模型复杂性对其进行惩罚，它喜欢相对简单能够更好的泛化的模型。
-
岭回归（Ridge Regression）
-
最小绝对收缩与选择算子（LASSO）
-
GLASSO
-
弹性网络（Elastic Net）
-
最小角回归（Least-Angle Regression）
-
优缺点：
其惩罚会减少过拟合；造成欠拟合；很难校准；
集成算法（Ensemble Algorithms）
多个较弱的模型集成模型组，模型可以单独进行训练，预测能以某种方式结合去做总体预测；比使用单个模型预测出来的结果要精确；
-
Boosting
-
Bootstrapped Aggregation（Bagging）
-
AdaBoost
-
层叠泛化（Stacked Generalization）（blending）
-
梯度推进机（Gradient Boosting Machines，GBM）
-
梯度提升回归树（Gradient Boosted Regression Trees，GBRT）
-
随机森林（Random Forest）
决策树算法（Decision Tree Algorithm）
-
决策树算法（Decision Tree Algorithm）
使用一个决策树作为一个预测模型，它将对一个 item（表征在分支上）观察所得映射成关于该 item 的目标值的结论（表征在叶子中）。
目标是可变的，可以采一组有限值，被称为分类树；在这些树结构中，叶子表示类标签，分支表示表征这些类标签的连接的特征。 -
分类和回归树（Classification and Regression Tree，CART）
I- terative Dichotomiser 3（ID3） -
C4.5 和 C5.0（一种强大方法的两个不同版本）
-
优缺点：
非参数易理解；容易过拟合 陷入局部最小；没有在线学习；
回归（Regression）
能在给定自变量的条件下估计出因变量的条件期望；
-
普通最小二乘回归（Ordinary Least Squares Regression，OLSR）
-
线性回归（Linear Regression）
-
逻辑回归（Logistic Regression）
-
逐步回归（Stepwise Regression）
-
多元自适应回归样条（Multivariate Adaptive Regression Splines，MARS）
-
本地散点平滑估计（Locally Estimated Scatterplot Smoothing，LOESS）
-
优缺点：
严格假设；异常值处理；
人工神经网络（Artificial Neural Network）
受生物神经网络启发，模式匹配，用于回归和分类；
-
感知器
-
反向传播
-
Hopfield 网络
-
径向基函数网络（Radial Basis Function Network，RBFN）
深度学习（Deep Learning）
支持向量机（Support Vector Machine）
降维算法（Dimensionality Reduction Algorithms）
聚类算法（Clustering Algorithms）
基于实例的算法（Instance-based Algorithms）
贝叶斯算法（Bayesian Algorithms）
关联规则学习算法（Association Rule Learning Algorithms）
图模型（Graphical Models）
https://zhuanlan.zhihu.com/p/25327755
网友评论