今天碰见了一个化学老师A，她说你们电子方面也会用到熵吗？
会啊，我说。
A:那你们是用在什么方面呢？
做信号处理的老师C说，在信息论里面。
A:哦，有没有什么可以给化学的学生举的例子？像化学里，熵主要是表示混乱程度，但是举来举去都是化学里的例子。
C:信息论里，熵主要表示信息量的大小，其实也就是表示一个东西出现的概率。
如果一个东西出现的概率很大，那么它含有的信息就会比较少；而一个东西出现的概率很小，那么它含的信息就比较大。
就像算命，如果有两个算命先生，一个准确的概率是20%，另一个准确的概率是60%。那么你应该找哪一个算命呢？
就应该找20%的那个。因为另一个说的可能都是，对所有人都适用的东西。
A:啊，那和我们不一样，化学里认为，世界是由出现概率大的物质组成的。
我：化学里讨论的是存在，而信号里面讨论的是，他有多大的信息量。
其实我觉得你可以这样说，就比如说在一个广场上，如果让人随机站的话，那么大家的位置很可能是混乱的，只有让大家排队的时候，熵才会减小。
其实本质上熵都是表示混乱度的，只是大家的角度不同。
人活着就是在对抗熵增定律，生命以负熵为生。 ——薛定谔《生命是什么》 熵（Entropy）...
请听题:什么是熵？什么是交叉熵？什么是联合熵？什么是条件熵？什么是相对熵？它们的联系与区别是什么？ 如果你感到回答...
信息熵是什么？机器学习入门：重要的概念---信息熵（Shannon’s Entropy Model）信息熵信息论中...
人活着就是在对抗熵增定律，生命以负熵为生。 ——薛定谔《生命是什么》 怎么理解熵增呢？ 非生命：比如物质总是向着熵...
1+1=2（代表了数学文明）E=mc²（爱因斯坦的质能方程）S=-∑PlnP(熵的定义)熵1 .熵是什么？ 熵是物...
一、为什么都在学熵增定律 二、概念：什么是熵增定律 熵增定律是什么？ 物理学里熵的公式是△S= (3/2)kln ...
今天碰见了一个化学老师A，她说你们电子方面也会用到熵吗？ 会啊，我说。 A:那你们是用在什么方面呢？ 做信号处理的...
人活着就是在对抗熵增定律，生命以负熵为生。 ——薛定谔《生命是什么》 作...
一直以为KL散度是什么新奇玩意，但是其实还是旧瓶装新酒 机器学习中的熵、条件熵、相对熵(KL散度)和交叉熵_冉茂松...
欢迎关注我的专栏( つ•̀ω•́)つ【人工智能通识】 最大熵是什么？最大熵有什么意义？ 信息熵公式 在这篇文章中，...
本文标题：熵是什么
本文链接：https://www.haomeiwen.com/subject/pfoqvqtx.html
网友评论