为什么训练集和测试集合都是来自同一分布

什么是分布

我们说训练集和测试集服从同分布的意思是训练集和测试集都是由服从同一个分布的随机样本组成的，也就是

(Xtrain,Ytrain),(Xtest,Ytest) i.i.d. ∼F(X,Y)

测试集合训练集分布的影响

训练模型的过程实际上是拟合了训练数据的分布，如果测试数据的分布跟训练数据不一致，那么就会影响模型的效果。
参考吴恩达老师的例子

image.png

通俗的解释
就是别用从动画片数据集里做出来的动物识别程序去识别纪录片里的动物。

怎么查看数据分布

具体可以查看官方文档更详细

1.直方图

利用matplotlib 中 hist 函数

plt.hist(TData, bins=50, color='steelblue', normed=True )

image.png

2.利用seaborn

seaborn可以更快更精细的画出密度分布

import seaborn as sns 
sns.distplot(TData, rug=True

image.png