在人工智能的大地上， 模式识别和计算统计碰撞出了新的火花， 机器学习。 以数据驱动为出发点的各种学习理论层出不穷：监督学习、无监督学习、强化学习、深度学习。 这里想通过对机器学习上下六十年简史的概述， 回顾机器学习思想的主线， 以及对此贡献巨大的牛人们。有意思的是， 这些牛人基本全是男性，比关注本公众号的主流阅读群性别比例还要恶劣。
前言
这里概述了课件（点击 阅读原文 链接下载）部分内容， 引述『机器学习的前世今生』这个主题的内容。
回顾历史大事
近二十年来， 机器学习的突飞猛进极大的影响了人们的生产生活。 有哪些重大事件呢？
回顾人工智能由来
人工智能的发展得益于非常多的学科，尤其哲学，数学，心理学和计算机的发展。
男人们
计算统计介入阶段：达尔文影响了两拨剑桥人
影响了搞计算机的人： 剑桥是一个伟大的地方， 毕业了个计算机的博士， Mike Paterson， 他的导师非常喜欢LISP语言， 自己动手写了一个。 他也非常喜欢计算机语言和自动化， 就指导他的学生Leslie Valiant做了一些计算理论和自动化方面的研究。 结果这个Leslie不得了， 把达尔文的生物进化思想引入进来， 建立了PAC自然学习( Probably Approximately Correct)的理论。 某种意义上把机器学习和生物统计联系起来了。
影响了搞生物的人：达尔文自己就是搞生物的， 高尔顿是达尔文的表弟， 他找到一个数学家皮尔逊和自己一起搞优生学， 从此建立的生物统计学（参考：Lasso简史）。
计算统计奠基阶段：跑出一个俄国男人
苏联黑科技：Vapnik在冷战时代默默的搞出了牛掰的结构风险最小，支持向量机和VC维等等， 为统计学习建立起理论强大的泛化基石。 他得益于彼得堡数学学派在不等式方面的杰出发展。
彼得堡学派：彼得大帝只要欧洲有的都想要， 他老婆想聘请欧洲最牛的数学世家的伯努利来俄国，人家派了自己的儿子来到俄国， 他儿子又邀请的他的学生欧拉来到俄国。 欧拉去世后，有个俄国小男孩叫切比雪夫， 他妈妈教授了他法语， 从此他一方面和法国数学通信， 一方面阅读欧拉和伯努利们留下的手稿， 选择了继承伯努利大数定理类似方向的概率不等式。搞了切比雪夫不等式， 他的学生马尔可夫又泛化成马尔可夫不等式， 另外一个学生李雅普诺夫还搞了不动点优化理论。 从此开创了彼得堡学派。 在概率上牛的一塌糊涂。
计算统计发力阶段：伯克利和斯坦福
伯克利：Neyman 内曼从UCL伦敦大学院跑到美国后， 建立了伯克利统计系， 第二年，就让位给第二任系主任Blackwell， Blackwell特别欣赏伯克利第一波学生里面的Breiman，而Breiman又从MIT挖来了Jordan， 这一路开启了伯克利统计学在机器学习方向的牛逼模式。
斯坦福：因为靠着伯克利比较近， 看人家玩的风生水起， 自己也一心想培养牛掰学生。 譬如，Herbert Solomon创立斯坦福统计系后培养了Bradley Efron，Efron又培养了Robert Tibshirani，Tibshirani和Trevor Hastie是同学， 而Hastie的老板Werner Stuetzle 和 Jerome H. Friedman是好友， Friedman却是伯克利培养的博士。 从Efron, Tibshirani,Hastie这些斯坦福自己培养的博士在斯坦福统计学牛起来， 斯坦福统计系终于腰杆子硬了。
计算统计高级阶段：玩起了贝叶斯推理
通过贝叶斯统计的逻辑推理能力，建立起贝叶斯网络、图模型达到高级阶段。 可怜的Pearl，虽然因此拿了图灵奖， 但是记者儿子被极端组织砍头了。。。为啥不让他学机器学习呢？ 就像Tibshirani一样， 机器学习父子兵 ~~~
Ryan and Rob Tibshirani 机器学习父子兵
深度学习：拟合能力和特征表达的战斗机！
辛顿、辛顿、辛顿！Hinton！！！The deep learning saga, 深度学习的传说 ( 参考视频 http://v.youku.com/v_show/id_XNDkwOTI1MDYw.html 翻墙 可以看https://www.youtube.com/watch?v=mlXzufEk-2E ) 。 一个布尔的后代， 三十年磨一剑！ 可怜的经费， 惊人的研究成果 ~~~
Schmidhuber, Lecun和Bengio， 要么和辛顿一样， 坚守了几十年， 要么就是辛顿的学生。 还有他们的学生们， 一帮搞网络的男人们 ~~~ 能不能招点女学生！
小结
简单说来，多学科融合诞生了人工智能，冒出感知机这个原始神经网络单元而爆发热度， 然后开始计算统计化， 诞生了机器学习， 一不小心又回归神经网络化， 冒出了深度学习， 然后统计学习的人们发现， 这个太难解释了！ 而这一切，看上去一直是男人们的游戏， 最近终于有女性上场了~~~
如何数学上解释深度学习呢 ？？？
提示：『机器学习的前世今生』课件PDF，请点击下方阅读原文
相关话题：
网友评论