1. 什么是学习

学习，作为人类的基本技能是我们认识世界和改造世界的重要途径。从过去发生的事情中吸取经验并总结升华成普遍规律知识，并将它们运用于解决新的类似的问题，就是学习。从这里我们其实就可以窥见到学习的几个特点：（1）学习的根源来自于过去已知的事情。巧妇难为无米之炊，学习不是凭空产生的。任何人从孩提开始就是从观察一件件生活上发生的事情，然后从中学习；（2）学习的过程是不断吸取经验教训。失败乃成功之母，漫无目的，毫无章法的学习让人看不到进步也达不到效果；（3）学习的精髓是要从经验升华到普遍规律。学习不是简单地重复过去，而是希望能总结抽象出规律，这个规律应该是可以代表所有的已经发生的事件；（4）学习的目的在于将所学知识运用到新的场景。从小学到大的我们都知道最后一关必然是考试，这是用来检验我们学习的效果。从长远的方面来说，我们也希望将所学的知识用于实际的场景，来帮助我们更好的解决问题。

谈完了学习，那么什么是机器学习也就很好理解了。机器学习，就是致力于把人类学习的过程通过计算机模拟程序的方式来实现，因此看上去好像是机器也能够进行类似于人类的学习。以上谈到的关于学习的四个要点全部都可以在机器学习中找到对应的概念（之后会再详细的讲解）：学习的原材料来自于一条条机器可以读懂的样本；不断吸取经验教训的过程是不断优化目标函数的过程，也称之为训练；训练的目的就是在给定假设空间中找到一个最符合样本分布规律的模型；而最终将模型作用到新的样本则称之为检验或测试。下图很好的诠释了机器学习与人类思考的对比。

人类思考 vs 机器学习

古人云：一叶知秋；春江水暖鸭先知。这简简单单两句话已经蕴含了学习的本质：我们从落叶就可以推测秋天的到来；从鸭子的行踪就可以推测江水的温度。当然，这绝不是我们第一次见到落叶，或者第一次看到鸭子就能够察觉的规律；而是我们在日常生活中反复大量的见到落叶和秋天，以及鸭子和水温从而总结得出的。所以，学习一定是需要不断重复的过程，实质是要建立两个不同事物之间的某种统计关系。在机器学习的范畴里，落叶或者鸭子称之为特征，而秋天和水温称之为标签， 刻画特征和标签关系的就是统计模型。既然人类可以通过反复的观察总结得到统计规律，那么我们可不可以让机器代替人来做这种重复而又费时间的学习过程呢？答案是肯定的。

2. 机器学习的生活实例

机器学习离我们并不遥远，我可以肯定的说每一个人每一天都离不开机器学习的产品。一早起来，拿起手机，相信你的新闻APP已经给你推荐了很多过去几天发生的新闻，这个新闻推荐系统背后的算法就是一个典型的机器学习算法，根据你的历史兴趣和浏览行为学习到的。来到公司，你一定会先浏览一下邮件；多亏了你的邮件分类系统，帮你过滤掉了大部分的垃圾邮件，所以你无须浪费时间在没意义的邮件上。找到了一份重要的Google邮件需要你马上回复，于是你准备开始回复；咦，我怎么还没有开始写，系统就自动给我生成了回复？于是你根据自动生成的回复开始添加一些内容，而且你发现每当你输入两三个词系统就会自动给你生成后面的词语完成句子。结果，原本需要写50个词的邮件，可能你只需要20个词就搞定了。就是那么爽！这个背后的对话生成系统和语言模型都是自然语言处理领域高端的机器学习模型。

当你在工作中遇到了问题，你第一个想到的通常是使用搜索引擎，来找到你需要的答案。是的，这是机器学习领域对于人类检索知识的革命性贡献，让你不用再去图书馆或者专家寻求答案，大大提高了工作效率。而且你会发现，通过就搜索引擎得到的结果往往有一小部分是广告，排在最前面最醒目的位置；是的，计算广告也是机器学习领域在广告营销领域带来的的革命性突破，出现何种广告，出现在什么位置，何时出现，这些都是由背后的模型决定的。工作了一天，饥肠辘辘，你一定想在附近找个好餐馆犒劳一下自己。不用急，直接从你的yelp APP就可以找到。里面琳琅满目的餐馆，包括地理位置，图片，打分，评论一应俱全。其中的图片分类功能，可以将一个餐馆的室内，室外，菜单等图片分门别类的给你列出来。请注意这些大部分都不是人工实现的，而是机器完成的！

到了晚上闲暇时光，你想访问下你的社会媒体和朋友圈看看谁又撒了狗粮，谁又炫富了，谁又。。。。。你会惊喜的发现，给你展现的内容竟然大部分都是你感兴趣的。要知道这些内容绝不是随机展现的，而是通过一个信息流和会话推荐算法按照相关程度的大小顺序给你排列好了。好了，夜深了，不妨睡前听一会音乐。这时候，你无须打开app或者网站输入查找音乐，只需要对着amazon alexa说一句："恩，给我来一首抒情缓慢的英文歌曲吧，要经典的。。。"。这时候，一首玛丽亚凯莉的Hero缓缓响起，让你进入梦乡。是的，Alexa的语音识别系统能够完全理解你的指令，并从互联网找到你想要的内容。。。。。。

3. 机器学习的历史

机器学习是人工智能发展到一定程度产生的分支。二十世纪50到70年代，人工智能处于推理期，那时候的人们认为只要赋予机器类似人的推理能力，那么机器就具有了智能。但是，通过无数次的实验发现，人类对世界的认知和机器对世界认知存在本质不同，将人类的知识直接移植到机器是一件极其困难的事情，于是乎产生了让自己学习的念头。1980年，第一届机器学习研讨会议在卡耐基梅隆大学召开，这标志着机器学习开始成为一个独立发展的领域。1983年，Michalski等人把机器学习研究划分为“机械学习”，“示教学习”，“类比学习”和“归纳学习”。其中归纳学习又称为“从样例中学习”，并成为被研究最多，覆盖最广的机器学习方式。之后，机器学习的发展主线都是围绕着“从样例中学习”。

二十年代80年代以来，“从样例中学习”的一大主流是符号主义学习，其中包括决策树和基于逻辑的学习。决策树学习由于简单易用，至今仍然是最常用的学习技术之一；而基于逻辑的学习由于形式过于复杂，而重蹈了50到70年代时期的覆辙而陷入低潮。另一大主流是基于神经网络的连接主义学习。在当时神经网络并没有被主流机器学习领域接受（我们都知道现在神经网络是最热门的领域，不过这是后话），因为它是一个黑箱模型，参数的设置非常困难。

二十世纪90年代中期，统计学习成为机器学习的主流，其中的代表就是支持向量机模型，其中的核方法更是被广泛应用。直到今天，统计学习仍然是机器学习的主流。进入二十一世纪，尤其是2010年以后，连接主义学习卷土重来，并有了一个新的名字“深度学习”。所谓深度学习简单来说就是很多层神经网络叠加在一起学习，在语音和图像等复杂对象的应用中取得了对传统技术的压倒性优势，而且也逐渐开始向自然语言领域渗透。深度学习性能的关键在于网络模型的搭建和调参，而且极度依赖于数据的大规模，往往在理论上缺乏坚实的基础（为什么这样做是好的？那样做就不行？）。这个曾经“过气”的角色又重新翻红，主要得益于两个因素：一是计算能力大大提高了，二是数据量大大增加了。

机器学习的历史发展时间轴 人工智能，机器学习和深度学习的关系