机器学习bias-variance tradeoff

机器学习训练要保证模型在训练集的准确率高，即低bias（偏差）；同时也要保证验证集的准确率，不产生过拟合现象，即保证低variance(方差) 。两者可能互相制约，需要做tradeoff 。

在训练过程中，可以先针对bias做改进，方法包括：选用更大的网络，训练更长时间，或者更换模型。

降低了bias后，如果variance不达标，再针对variance做改进。方法包括：提高数据量，使用正则化，更换模型（如神经网络）。

降低variance后，再观察bias，如此往复，直到得到一个满意的模型。

在深度学习里，只要保证层次够深或者数据够多，可以降低bias的同时不明显提高variance ，或者降低variance 的同时不明显提高bias。这也是深度学习对监督学习大有裨益的一方面。