通信与机器自然语言处理是个亲家，甚至就是相同的。
为何？
语言是一种编码方式，而语言的语法规则就是编解码的算法。
对于自然语言处理，一开始是从人的直观感觉出发，认为应该根据句法解析来获得语意。
然而，对于这种上下文相关的分析方法，计算复杂度大概是语句长度的六次方。这样一来，处理变得几乎不可能。这也是上世纪80年代以前，自然语言处理几乎失去了关注的原因。
这与人类一开始初级得模仿鸟儿的飞翔，给自己粘上翅膀和羽毛是类似的。真正的突破，是研究空气动力学造出固定翼的螺旋桨机才实现上天的突破的。
对于自然语言研究的突破，并不是灵光一闪的成果，而是在研究语音识别时的side effect。
这种思维的死胡同，很多时候都是通过其他看似不相干的研究的发现来打通的。这也是很有意思的一个事情。说个题外话，现在互联网技术的大繁荣，也是跟开源社区的活跃离不开干系，把人力从低水平的重复造轮子中解放出来了，可以专注于提供个性化服务。
把话说回来。
所以基于规则的方法是行不通的，目前是通过统计学的方法，基于有向图的统计模型来解决复杂句法分析的问题。同时，对于自动问答的需求很大程度被网页搜索和数据挖掘替代了。
基于统计的自然语言处理方法，在数学模型上和通信是相通的。
可再转念一想，
为什么人脑能处理的基于规则的自然语言处理，机器智能无法突破呢？基于电波和化学反应的突触神经所能处理的事件，二进制处理是不是从一开始就决定了无能为力？
网友评论