防止欠/过拟合

正则化

ragularization.png

岭回归(ridge regression(L2))

ridge regression(L2).png

Lasso Regression(L1)

Lasso Regression(L1).png

Elastic Net Regularization

Elastic Net Regularization.png

特征选择

• 正则化通过缩小特征的“贡献”对特征进行选择
• 特征选择也可以通过移除特征实现
  • 减少特征数目是防止过拟合的方法之一
  • 对一些模型而言，更少的特征意味着更快的训练速度、更短的时间
  • 分辨最关键的特征可以提升模型解释性

递归特征消除（Recursive Feature Elimination）

梯度下降（Gradient Descent）

gradient descent.png

使用线性回归的梯度下降

gradient descent with linear regression.png

随机梯度下降（Stochastic Gradient Descent）

stochastic gradient descent.png

Mini Batch Gradient Descent

一般Batch的规模约为50~256个点

Mini Batch Gradient Descent.png