在今年3月的时候，Yann LeCun 燕乐存访问过自动化所， 在清华做过报告。这次他要来上海了。 受上海交通大学邀请， 他将于2017年7月4日，周二下午在闵行校区的做"Deep Learning and AI: Past, Present and Future"的报告！ 报名请点击"阅读原文"链接。
关于这个话题， 网上有个SAP的工程师 Lukas Masuch的报告
https://www.slideshare.net/LuMa921/deep-learning-the-past-present-and-future-of-artificial-intelligence 讲的一般吧， 大家可以看下下，以后对比LeCun高明在哪里？
卷积神经网络的发明人
燕乐存一直以卷积神经网络CNN的发明人被世人知道。 但是， LSTM 发明人Juergen Schmidhuber指出，某种意义上， CNN不是 LeCun 发明的， 而是京都大学毕业的博士Kunihiko Fukushima在1980年的神经网络Neocognitron里面提出来的。 LeCun不过是把BP算法用在上面下下。 为此两人争论起来了，于是 LeCun有一个著名的论断， 叫Recreate，回炉再造，重新发明~~~
Juergen Schmidhuber
而就是这个Recreate，让大部分人居然就接受了。 我们要高举Recreate的大旗！！！ 让知识活起来，火起来~~~
其实， 某种意义上Fukushima （ http://personalpage.flsi.or.jp/fukushima/index-e.html ）的Neocognitron的确意义巨大， 他当时就有 "Selective Attention Model " 这个机制的说明。 不过总得来说， 深度学习的大旗是Hinton抗的（攒说 Geoff Hinton）， 圈子也是他创造的， 而LeCun是他的博士后。 同时Schmidhuber和Fukushima都没有一开始就在这个圈子里面混，就没有办法了。
MNIST手写数字库的创建者
乐存一开始的CNN网络就是用在MNIST手写数字识别上的(http://yann.lecun.com/exdb/mnist/) , 不过当时CNN的效果的确不如SVM效果好。
这个就涉及到95年的时候，SVM的发明人Vapnik在苏联解体后，来到美国，加入贝尔实验室， 然后SVM一下子爆火。Vapnik （参考机器学习背后的男人们）和他的老板Jackel的赌约，当时的见证人就是LeCun，他们都是贝尔实验室的员工，其实LeCun在博士后之后的1988年就加入了贝尔实验室了，到1996年的时候，他已经是图像处理研究部的主任，这也就是打赌的前一年。 这也是为什么他要在图像的手写体上和SVM比较的理由。而到2000年，肯定是Vapnik胜了。没想到再过15年后， 翻盘了。 而这距离赌约已经20年了。
深度学习的巨头
LeCun是1987年从UPMC获得计算机博士学位之后，就跑到多伦多大学做了Hinton的博士后，不到1年的时间， 他在1988年就去了贝尔实验室了。 然后这短暂的时间，为他之后的生涯带来的极大的影响。 Hinton是一个能在一个领域坚持三十年的人。 LeCun也深受影响。 之后一直在神经网络方向坚持。
2014年， 他获得了IEEE神经网络领军人物奖， 2015年，他和Hinton还有Bengio一起在自然杂志上发表了深度学习的文章。 宣告深度学习时代的来领。
这个文章某种意义上，奠定了深度学习三巨头的称谓。 而这个Bengio其实也是贝尔实验室的。 他那时候和LeCun是同事，不过他93年的时候去了学校当老师。 贝尔实验室真是养人的地方呀！！！ Bengio是另外一个大拿乔丹的博士后（参考乔丹上海行）。 2013年， LeCun和Bengio共同搞了International Conference on Learning Representations ICLR的深度学习方向的会议。 也的确是领头人了！
而Andrew Ng吴恩达因为上面这个照片，常常被称为四巨头， 就深度模型的贡献而言， 个人感觉还是换成Schmidhuber比较好。 的确Ng在优化等方面也是很多贡献的！
Facebook的人工智能实验室的领头人
后来facebook几乎把贝尔实验室的图片处理组接管了。 2013年， 他被挖到facebook成立AI实验室，称为主任。 第二年，他就把Vapnik又挖过去了， 这样Vapnik和LeCun这对老同事又Facebook亮起来了。
说起贝尔实验室， 这个曾经实际上超级牛的企业实验室，衰落的太厉害了。 想当年， 她的投资， 真是不逊于政府在高科技的方方面面的投资。 后来，IBM和微软吸取了教训， 不再养着科学随意研究，物理化学天文等等都不允许了，必须和公司业务相关。 谷歌实验室更进一步， 必须预计能给公司带来利润。 不知道Facebook的实验室未来的大战略如何？
小结：
欢迎乐存来上海， 一代牛人，很想去听！
相关话题：
网友评论