这段时间更新较少，原因是史博国庆要结婚啦！
为庆祝祖国母亲生日和自己终于脱单，给大家献上这篇绝对的干货！也提前祝大家国庆快乐！
前言
在“机器学习经典人物关系[全]”里面我们分享了机器学习领域中巨擘们的关系， 这里我们分享人工智能领域中巨擘们的关系图谱。
在“易图秒懂の人工智能诞生”里面， 我们介绍了从罗素->维纳->麦卡洛克->皮茨->罗森布拉特这个神经网络诞生的主线； 在这个主线里面， 暗含了逻辑->控制->神经网络领域迁移。 也介绍了“二大会议”的人工智能诞生的主线：西克森研讨会->达特茅斯Dartmouth会议； 在这个主线里面，冯诺依曼和图灵的影响释放 -> 麦卡锡，闵斯基和香农的影响释放 -> 司马贺 和 纽厄尔的影响释放， 这样一脉传承的影响释放和传播。
在“易图秒懂の符号主义诞生”里面， 介绍了搞经济学的司马贺搞起人工智能来， 一发不可收拾， 司马贺和学生纽厄尔，还有另外一个学生费根鲍姆 都是图灵奖得主。 他们的突破性研究带来了专家系统， 开启了这个符号主义时代最优秀的应用。
在“易图秒懂の连接主义诞生”里面， 介绍了罗森布拉特的感知机被闵斯基的XOR问题打死之后， 虽然随后韦伯斯发明BP算法搞定XOR，但是闵斯基的这次闷棍太狠， 神经网络完全无法还魂。 新的救世主是作为物理学家的霍普菲尔德，绕道电子工程威德罗的ADALINE， 大爆发了霍普菲尔德网络， 神经网络起死回生。 这次起死回生并不容易， 霍普菲尔德得道于：1）SOM的作者，科荷伦鼓吹的 Content-Addressable Memories (CAM)；学习到网络结构。 2）利特尔的能量函数（基于能量的学习）； 学习到优化目标。 3）李雅普诺夫的Lyapunov Function； 学习到优化方法。 4）威德罗的ADALINE; 学习到迭代学习。 霍普菲尔德网络深深刺激了到DNA双螺旋的创建者克里克， 这位大师在继承了心理学大师曼德勒的实验室之后， 纠集了实验室三大员工：心理学大师埃斯蒂斯的学生鲁梅尔哈特； 理论化学家、认知科学大师Christopher的学生辛顿；和认知科学大师诺尔曼。 克里克就这么搞起了神经网络，并且第一次在Nature上鼓吹神经网络。 这样， 一帮心理学派的弟子们在搞神经网络的时候， 将认知科学融合了进来，诞生了连接主义。鲁梅尔哈特和 辛顿一起， 简化了BP算法。 让BP盛行了起来。 另外， 以鲁梅尔哈特为代表的连接主义， 培养了下一代的乔丹。他和辛顿一起，同时也造就了贝叶斯网络和深度神经网络在机器学习中的极大发展。
在“易图秒懂の深度学习诞生 问题篇”，描述了霍普菲尔德网络衍生的Simple Recurrent Network 在被Schmidhuber用来做语音识别时候效果不好， 让他的硕士霍克赖特去研究为什么效果不好。 霍克赖特一发而不可收拾，发现了Gradient Vanishing问题，搞出了LSTM，可惜Schmidhuber没有混连接主义的圈子。 乔丹的一个搞自然语言处理的博士后本吉奥开始把Gradient Vanishing问题在连接主义的圈子里宣传开了。
在“易图秒懂の深度学习诞生 发展篇”， 描述辛顿，改进了霍普菲尔德网络到玻尔兹曼机， 最后和自己的深度信念网络融合，诞生了深度玻尔兹曼机。 另外，辛顿一个搞图像识别的博士后杨乐昆再造了福島邦彦的Neocognitron， 成为了LeNet CNN。 这样DBM，LSTM， CNN三架马车带动了深度学习的发展。
哪些行业的人发展了神经网络？
在神经网络发展史上， 生物学的， 心理学的，神经科学的， 计算机的， 电子电路的， 物理的， 数学的， 逻辑的， 你方唱罢我登场， 一路不通换一路， 终于发展到今天。
搞控制、计算机的人架了骨：
搞控制的人搞了， MP神经元模型骨子里就是一个支架， 不会自我学习。 但是后来发展成立神经元。
搞计算机的人搞了Content-Addressable Memories， 也是一个骨架， 没有太多自我学习。 但是后来发展出了霍普菲尔德网络。
搞心理学，生物学，神经科学， 脑科学的人造了血：
赫布从行为学发展了Hebb Learning Rule，也启发了Delta Learning Rule， 为感知机和ADALINE的诞生， 赋予了学习机制： 学习目标和手段。
威泽尔和胡贝尔研究的视觉神经，让cross-correlation和脑相关性研究， 能量函数， 有了学习的目标。
搞数学的人赋予了髓 和 搞认知的人赋予了神：
李雅普诺夫的收敛性证明， 塔克的KKT条件，芬切尔的凸优化理论， 从此有架构（骨），有目标（血）， 有算法（髓）。 再加上搞认知的人赋予了新的分布式表达和网络的神！开启了从人工智能到深度学习的大爆发
哪些牛人在早期神经网络的应用：图像识别（人脸，手写体），语音识别，文本分析？
福島邦彦使用了Neocognitron做手写体识别。
科荷伦使用了Self-Organising Map做人脸识别。
Schmidhuber使用了RNN做语言识别。
本吉奥使用了NNLM做机器翻译。
所有这些细节，都可以从下面这个超级庞大的关系图谱中找到！
从上面这个更大的错综复杂的网络里面， 你也可以挖掘出来新的内容， 希望你也能进行按你的知识去理解一下， 哪些是你喜欢的部分， 哪些还有缺失的部分， 哪些可以反馈改进。
小结：
和“机器学习经典人物关系[全]”， 类似， 请大家到“阅读原文” 下载PDF[3.4M] (密码: AI2ML)。有4M的大小， 请耐心下载！
相关话题：
网友评论