深度学习讲稿(6)

2.5 参数学习和非参数学习

简化表述：试错学习 VS. 计数和概率。
前面谈的内容将所有的机器学习算法分成两组：有监督的和无监督的。现在我们要讨论把机器学习算法分成两组的另一种方法：参数的和非参数的。

参数模型的特征是具有固定数量的参数，而非参数模型的参数数量则不确定。

所以按照参数和非参数以及监督和无监督来分类，总共有四种学习算法。它们分别是：监督参数学习，监督非参数学习，无监督参数学习，无监督非参数学习。

2.5.1 分析和整体的思维模式

这里要谈一个西方人习以为常而中国人很少有的思维模式，就是分类的思想。

分类是将研究客体细致精确地区分出来的一种思维模型。这种思维模型是非常非常重要的。西方的科学精神，很大部分就来自于分类思想。由分类思想所引申出来的，就是分析法，它是现代科学的根本法。

中国人习惯于从整体上看问题，而不是精确拆分问题。

分类是需要对研究的客体有全面的了解的，知道研究对象的各种精确属性，所以是一种微观思维方式。

中国人受天人合一的思想影响非常深刻，本质上“天人合一”是一种整体法。整体法是模糊的，不精确的，但这是一种宏观的思维方式。

整体法有助于跳出分析法的“只见树木，不见森林”的局限。如果用计算机算法来比较，分析法就相当于是“贪心”算法，而整体法就是“退火”算法。

2.5.2 一个例子

假设现在遇到的问题是要把一个正方形的积木块装进正确的（正方形）洞里。有些人（比如婴儿）只是尝试着将它塞入所有的洞里，直到它匹配某一个（参数模型）。然而，一个大些的少年则可能会数一下边的数量（四条），然后搜索边的数量与之相等的洞（非参数模型）。参数模型倾向于使用试错法，而非参数模型倾向于计数法。