在“易图秒懂の人工智能诞生"里面，简述了人工智能背后的人物关系 ( 男人们间的关系 ”机器学习背后的男人们“ )。 这里开始解释神经网络。
前言
在开始描述前， 需要说明一点， 一个模型， 有了结构， 基本成为一个静态模型， 但是一个静态模型要变成动态模型， 背后要强大的转换学习机制。
静态模型 VS 动态模型
举个计算机的例子， 大多人都知道第一台通用计算机， 叫埃尼阿克ENIAC。
但是硬件意义上的第一台电子管计算机，并不是ENIAC，在他之前有个叫ABC的计算机， 就已经是硬件上的电子管计算机了。
那么差在哪里？主要是可不可以编程， 而可以编程就是一个动态模型。 这是这种差异， 使得冯诺依曼和图灵在发明计算机上享有了声誉。 而不是单单硬件的发明。
如果你能体会到静态模型和动态模型的差异， 那么就可以更好的读懂神经网络的诞生了。
一图抵千言
谁发明了第一个神经网络的静态模型？
第一个发明神经网络模型的两个人叫McClloch和Pitts， 这两个人受到罗素与控制论创始人维纳的深刻影响，Pitts勇敢的给罗素写了他著作的读后感， 然后受罗素邀请，才从流浪汉变成牛人。McClloch直接就是维纳实验室员工。 背后故事大把大把，就不展开了。
所以大家看到控制论对人工智能的产生有着深刻影响。其中之一，就是McCarthy怕受到维纳控制论的过强影响， 而命名了人工智能。命名很重要。 冯诺依曼就为香农命名了信息熵。 他告诉香农说，熵， 信息领域懂的人不多，可进可退。 看来McCarthy也深懂此道。 人工智能，控制论领域的人懂得不多， 可进可退。
其实维纳也来到中国过， 对中国人工智能发展也有影响。华罗庚先生早年就有受到维纳的培训，在维纳在中国呆了两年期间， 培训了很多信号处理，最优化方面内容。 后来华先生，关注美国计算数学发展，创立计算所。 而计算所是国内最早研究人工智能的研究所之一。
谁发明了第一神经网络的动态模型？
但是MP模型是一个静态模型， 就是你手动变化收入， 输出信号会变化。 没有学习能力。刚好Hebb的心理学家发明了Hebb学习规则。 然后有个叫Rosenblatt的年轻人，就把这两个模型组合起来， 建立实验， 生成了感知机模型。
所以你从图上可以看到感知机模型和MP模型的差异，就是有个反向误差学习。 这一下不得了。 开启了神经网络的大春天。 全世界在庆祝模拟了人脑， 拼命砸钱。有一个叫Widrow的年轻人，也用了一个学习规则， 叫Delta学习和MP模型结合， 搞出了ADALINE的电子线路回归模型。
大家看到Delta学习就是回归学习， 而Hebb 学习就是分类学习。 由于是线性的， 这里的学习用了最小二乘法。 一下子又回到高斯去了。
这个Widrow工作的影响巨大，尤其是感知机在人工智能领域被打入冷宫后，一波搞电子电路，物理学方向的人坚持在做神经网络。 到了一定程度， 又回到了人工智能领域。而Widrow的工作，就是开启物理领域研究神经网络的那个人。
谁把感知机打入冷宫？
感知机太火了，Rossenblatt的高中学长Minsky也研究了一把， 发现了它的问题， 于是出了书。 书上写感知机言过其实了。 这个Minsky就是那个发起人功智能的大佬。 一下子， 神经网络研究进入冷宫。后来随然有个叫Werbos的人研究了反向传播算法。
这个Werbos还写了书，但是影响力还是不够，冷宫之冷，MLP多层感知机发展缓慢。另外Werbos，他还发明了BPTT算法，就会涉及到搞物理的人搞的神经网络模型了。
小结
这里给出了静态模型和动态模型神经网络的诞生相关的人。 下次介绍搞物理的人搞得神经网络 和 低谷期坚持神经网络发展的人们。
相关话题：
收敛率概述 (Overview of Rates of Convergence)
参考：
blog.sina.com.cn/s/blog_71329a960102v1eo.html
网友评论