参数估计（parameter estimation），统计推断的一种。根据从总体中抽取的随机样本来估计总体分布中未知参数的过程。从估计形式看，区分为点估计与区间估计：从构造估计量的方法讲，有矩法估计、最小二乘估计、似然估计、贝叶斯估计等。要处理两个问题：（1）求出未知参数的估计量；（2）在一定信度（可靠程度）下指出所求的估计量的精度。信度一般用概率表示，如可信程度为95%；精度用估计量与被估参数（或待估参数）之间的接近程度或误差来度量。
总结：也就是对要求解的未知预设其分布，然后求解分布的参数
无参数估计：如果一个估计问题所涉及的分布未知或不能用有穷参数来刻划，称这种估计为非参数估计。一般由样本估计未知分布函数或未知概率密度，由样本估计某一对称分布的分布中心都是非参数估计。常被应用于测验分数统计中
总结：不对未知预设分布，采用其他方法进行估计
这里贴一个网上看到的对正态分布的理解，我觉得很厉害
分数、身高、体重、人的性格等等等等，太多的统计量都符合正态/高斯分布，至少是近似正态分布。粗略地说，正态分布就是中庸的个体最多，越优秀和越粗劣的个体越少的分布。你想想看，其实很多事情都近似符合这个规律。
这是为什么呢？自然界出现的事物，往往都有其复杂的原因，一个人的身高，应该有很多原因都会影响它，为什么大量的人的身高却会服从高斯分布呢？
这可以用大数定律来解释，大数定理说，无论符合哪种概率类型的独立同分布变量，只要个数足够多，其和都服从高斯分布。也就是说，如果不确定的因素非常多，它们的共同作用，很可能就服从高斯分布，这个定律可以从任何一本初等概率论的书里得到。
所以，在不知道一个统计量具体服从什么分布时，假设它是服从高斯概率密度是合适的。
其次，高斯概率密度在所有给定均值和方差的概率密度函数中，具有最大的熵。熵越大表示随机变量的不确定性越大，这说明服从高斯分布的随机变量，其无序性最大。你也可以理解这种无序性的最大化来自于高斯概率密度其实是由无穷个独立同分布的随机变量小砖块叠加而成，因为小砖块太多，其和就变的没有规律可循。
直观地看，还有什么比倒钟字形的正态分布更普遍的呢？如果峰值靠左或者靠右，或者产生了重尾现象，数据里一定藏着更丰富的结构，这样的数据既然具有了更多的结构，其熵就会下降，此时就要用比高斯概率密度函数更精细的概率密度函数来拟合。
总结：数学学活了，是真厉害....
网友评论