（都是我在公众号中学习，摘抄的干货概念，所以也看不太懂也没有事儿。）
一件事有多种不同的状态，不知道是哪种具体的状态的不确定性，便是熵。而信息是多种可能状态中确定一个具体的状态的物理量。
信息与熵的关系：数量相等，意义相反，获得信息等于消除熵。
信息用来消除不确定性。不确定性越大，熵越大。
信息的种类：（能消除不确定性的信息）
1.正确调整某件事的可能情况的概率。
2.能正确排除某件事的干扰情况。
3.能直接确定某件事的情况。
噪音是干扰某人获得正确信息的事物，数据是信息与噪音的混合体。知识能够区别信息和噪音。
概率与熵的区别：概率是某件事（宏观态）某个情况（微观态）的确定性。而熵是某件事（宏观态），具体是哪种情况（微观态）的不确定性。
（都是我在公众号中学习，摘抄的干货概念，所以也看不太懂也没有事儿。） 一件事有多种不同的状态，不知道是哪种具体...
1948 年，伟大的信息论之父香农（Shannon）将热力学中熵的概念引入到了信息论中，提出了“信息熵”这一概念。...
信息增益描述了一个特征带来的信息量的多少，往往用于特征选择 信息增益 = 信息熵 - 条件熵 一个特征往往会使一个...
信息熵，在信息论里则叫信息量,即熵是对不确定性的度量。从控制论的角度来看，应叫不确定性。 当我们不知道某事物具体状...
01 什么是“信息熵” 香农提出“信息熵”的概念，解决了对信息的量化度量问题。热力学中的热熵是表示分子状态混乱程度...
没有方向的使劲努力，结果只能是爬的越高，摔的越狠。 曾经在研发部技术经理的位置坐过三年，本以为自己掌握了...
请听题:什么是熵？什么是交叉熵？什么是联合熵？什么是条件熵？什么是相对熵？它们的联系与区别是什么？ 如果你感到回答...
信息熵是什么？机器学习入门：重要的概念---信息熵（Shannon’s Entropy Model）信息熵信息论中...
欢迎关注我的专栏( つ•̀ω•́)つ【人工智能通识】 什么是条件熵？什么是信息增益？它的作用是什么？ 条件熵Con...
什么是决策树 决策树和if-else的不同 节点的划分 信息增益(ID3)熵条件熵经验熵和经验条件熵信息增益算法描...
本文标题：什么是信息？什么是熵？
本文链接：https://www.haomeiwen.com/subject/fpcxkctx.html
网友评论