看过《数学之美》的读者应该对此节内容都有部分认识，但是为了大家考虑，我还是简单的描述一下。
从1946年现代电子计算机诞生之后，计算机在某些任务的超常表现使得科学家们开始思考，能不能让机器也能像人类一样懂得自然语言？
面临的2个首要的认知问题就是
1.计算机能否处理自然语言？
2.计算机能否像人类一样处理自然语言？
早期科学家们认为，要想让计算机处理自然语言，首先得让计算机像人一样学习自然语言，那么，我们平常人又是怎么学习自然语言的呢？
不用多说，都是从最基本的词，语法，句法等开始，然后再逐步加深，这种思维的确很符合常规，因为人们的大部分创新基本都来自于模仿。但是，也正是这种思维使得自然语言研究陷入了20多年的“枯水期”，科学家们在政府部门的支持下大量投入人力、物力来研究语法规则、词性构词法等等规则。下面为大家引入一张早期科学家们对自然语言理解的示意图和一张文法分析树
早期对自然语言的理解
文法分析树
这样科学家的思路就像图中显示的那样，先利用文法分析来使得计算机能够理解自然语言，接着才进行相关任务的操作，其实，我们不难发现，随着句子的加长，分析树就会越来越复杂，并且大量的方言（俚语）使得光是构建规则就使得科学家们焦头烂额了。
在上个世纪70年代，基于规则的句法分析很快就走到了尽头。直到统计及语言学的出现使得自然语言重获新生，贾里尼克和他领导的IBM华生实验室利用统计语言模型在语音识别上面取得了重大突破。当然，也是他最先提出统计语言模型这个概念，后面会详细介绍统计语言模型。
总而言之，随着后来的15年的双方之间的争论。最终，以统计学派取胜，也为后面的神经网络语言模型打下基础。
网友评论