从信息论看机器学习

        从信息论鼻祖香农1948年创立信息论起，信息论有了坚实的数学基础，人类拉开了信息时代的序幕。

        人工智能或者说机器学习普遍认为是新理论技术革命的驱动力量，人工智能的本质使得人类处理信息的能力变的更强。对于工程师来讲，更关注的是，怎样把机器学习任务的效果变的更好？其实这个问题可以从信息论找到一些答案。

        影响机器学习任务最终效果的因素有3个：数据、特征、模型。这里不对这三个因素做详细介绍。

        从香农信息熵定义看，要消除不确定向，要增加新的信息。对于机器学习任务来讲（假定为分类问题），要想把效果变的更好，就需要增加信息，那么新的信息从哪里来呢？

        （1）从数据中来。增加数据的规模、丰富数据的维度，相当于从数据中提供的了更丰富的信息。

        （2）从特征中来。通过业务知觉或者自动学习特征，可以从相同的数据提取更多的信息，从而提升模型的效果。

        （3）从模型中来。当数据、特征的信息红利都被榨干，就需要啃模型这块硬骨头，深度学习能够横行AI领域，就在于其能从数据、特征中提取出更丰富的信息。比如卷积神经网络（CNN）能比传统的基于特征点的视觉处理方法，提取更丰富的第阶和高阶特征。循环神经网络（RNN）能够提取获取上下问题信息，从而更好地获取词与词之间的相关性。

        其实机器学习并不神秘，如果一个模型在相同数据集上效果，一定是在特征或模型上提升了获取信息的能力。