美文网首页
从信息论中学习的心得

从信息论中学习的心得

作者: zhang_402d | 来源:发表于2019-08-13 06:01 被阅读0次

1,交叉验证

做任何事,我们都希望得到好的结果,而我们需要做的就是拿不同的数据去对比结果。为了满足结果的准确性,我们尽可能用多组数据验证,是好方法。比如了解你公司的情况,不仅要看财报、听听同事、高管的说法,也要看看比如上下游供应商的说法。这样信息才是比较综合的,不至于想当然。

2,等价信息

其次,在科学研究领域,当我们很难测得一个变量的时候,通常会用其他现象代替。就比如我们初中化学教材中的,如果判断物质的酸碱性。这时候我们可以借用PH试纸的颜色变化,对比标准模型得到一个大致的范围。我最近在复习一门考试,之前觉得内容非常多而且难,但是现在看书或者做试题的时候,主动地思考题目所给的信息到底是想告诉什么,有什么等价信息可以关联到书本的基本内容;这样很有意思了,也倒逼自己建立知识体系框架。

3,大数据思维

大数据解决了人类人为找规律慢的问题,他可以利用计算机的计算能力比较不同数据的差异,然后给你一个对不同因素影响力的量化评估。

4,奥卡姆剃刀

生活中的琐事绝大部分可以被切割掉,我们需要少做事,把事做好。

5,最大熵模型

告诉我们,不要做主观假设,而要用概率将事做得“平滑”。

6、思考的方法论:学习一门新的学科首先要了解用处和基本原理,思考如何在现实生活中如何运用,可以先忽略理论细节,这样就避免一开始就陷入“畏难”情绪中。比如最近在读《什么是数学》、《统计学习方法》等就是在用这个方法。

相关文章

  • 从信息论中学习的心得

    1,交叉验证 做任何事,我们都希望得到好的结果,而我们需要做的就是拿不同的数据去对比结果。为了满足结果的准确性,我...

  • 从信息论中学习的心得

    1,交叉验证 做任何事,我们都希望得到好的结果,而我们需要做的就是拿不同的数据去对比结果。为了满足结果的准确性,我...

  • 信息论简述

    〇、目的 机器学习的很多算法中,越来越多的利用信息论的一些观点和结论。本文更多的是从机器学习的角度对信息论做一个简...

  • 深度学习中的信息论

    本文首发自公众号:RAIS,期待你的关注。 前言 本系列文章为 《Deep Learning》 读书笔记,可以参看...

  • 深刻学《吴军·信息论40讲》1——你的情报工作比赚钱重要

    深刻学《信息论》1——你的情报工作比赚钱重要 深刻学信息论 说明:以下内容是得到app课程——吴军·信息论的学习笔...

  • 交叉熵——我们如何评估差异

    前言 机器学习的本质是信息论。在信息论中,首先我们引入了信息熵的概念。认为一切信息都是一个概率分布。所谓信息熵,就...

  • 有哥学习笔记:信息论最后三讲:要点要点(7-21更187)

    信息论最后三讲: 信息论,控制论,系统论 第38讲:信息论的应用: 在这个模块中,我们重点讲了信息论在五个方面的应...

  • 从信息论看机器学习

    从信息论鼻祖香农1948年创立信息论起,信息论有了坚实的数学基础,人类拉开了信息时代的序幕。 人工智能或者说机器学...

  • 机器学习各种熵:从入门到全面掌握

    参考文献 1.统计学习方法2.从香农熵到手推KL散度:纵览机器学习中的信息论3.能否尽量通俗地解释什么叫做熵?4....

  • 信息熵与最大熵模型

    信息熵是什么?机器学习入门:重要的概念---信息熵(Shannon’s Entropy Model)信息熵信息论中...

网友评论

      本文标题:从信息论中学习的心得

      本文链接:https://www.haomeiwen.com/subject/iaumjctx.html