今天复习了信息论与最大熵那一块,信息熵作为一个信息的度量,表示事件的不确定性;人类在生产实践的时候就是不断地降低目标事件的不确定性,通过先验概率求后验概率,我们需要寻找降低不确定线性的最大信息熵,同时增加目标事件发生的确定性。
需要理解的概念有:
1.条件熵 2.互信息 3. 相对熵 4. 交叉熵
理解这一块要好好复习概率分布那块的知识,对于后面的决策树的学习有帮助。
《机器学习实战》看到的关于机器学习的理解:
机器学习即把无序的数据转换成有用的信息。
今天复习了信息论与最大熵那一块,信息熵作为一个信息的度量,表示事件的不确定性;人类在生产实践的时候就是不断地降低目标事件的不确定性,通过先验概率求后验概率,我们需要寻找降低不确定线性的最大信息熵,同时增加目标事件发生的确定性。
需要理解的概念有:
1.条件熵 2.互信息 3. 相对熵 4. 交叉熵
理解这一块要好好复习概率分布那块的知识,对于后面的决策树的学习有帮助。
《机器学习实战》看到的关于机器学习的理解:
机器学习即把无序的数据转换成有用的信息。
本文标题:2017.10.26
本文链接:https://www.haomeiwen.com/subject/rrvlpxtx.html
网友评论