什么熵

作者: 我爱麦芽糖 | 来源:发表于2019-07-10 13:45 被阅读0次

机器学习面试之各种混乱的熵
熵增定律——构建良性人生的基石
熵增定律_作者:邵明
人为什么要勤奋和自律？
生命以负熵为生
什么熵
二零一六年合集
今日头条——熵
信息熵与最大熵模型
人工智能通识-科普-最大熵

信息量

定义

概率越低信息量越大

概率越高信息量越低
公式

$I_{(px)}=-log(px)$

例如

事件概率信息量

电脑炸了 0.1 $-log(0.1)=2.3$

电脑无法开机 0.2 $-log(0.2)=1.61$

电脑开机 0.7 $-log(0.9)=0.36$

事件	概率	信息量
电脑炸了	0.1	$-log(0.1)=2.3$
电脑无法开机	0.2	$-log(0.2)=1.61$
电脑开机	0.7	$-log(0.9)=0.36$

熵

定义

是指所有信息量的期望值
公式

$H_{(x)}=-\sum_{i=1}^nP(x_i)log(P(x_i))$

$P(x_i)$ 为概率, $-logP(x_i)$ 为信息量

相对熵（KL离散度）

公式

$D_{(KL)(p||q)}=\sum_{i=1}^np(x_i)log( \frac {p(x_i) }{q(x_i)} )$

n为所有可能， $D_{(KL)}\downarrow$ 则q分布和p分布越接近

交叉熵

推导公式

$D_{KL}(p||q)=\sum_{i=1}^np(x_i)log(p(x_i))-\sum_{i=1}^np(x_i)log(q(x_i))$

$= -H_{(x)}-\sum_{i=1}^np(x_i)log(q(x_i))$

由 $(D_{KL})\downarrow\Rightarrow0$ 可以得出 $H_{(x)}=-\sum_{i=1}^np(x_i)log(q(x_i))$

公式

$H_{(pq)}=-\sum_{i=1}^np(x_i)log(q(x_i))$

$H_{(pq)}$ 为交叉熵

机器学习面试之各种混乱的熵
请听题:什么是熵？什么是交叉熵？什么是联合熵？什么是条件熵？什么是相对熵？它们的联系与区别是什么？如果你感到回答...
熵增定律——构建良性人生的基石
一、为什么都在学熵增定律二、概念：什么是熵增定律熵增定律是什么？物理学里熵的公式是△S= (3/2)kln ...
熵增定律_作者:邵明
什么是熵增定律？熵增定律就是热力学第二定律。什么是熵？百度告诉我: 1.熵不是能量! 2.一定意义上熵代表了无序度...
人为什么要勤奋和自律？
1 人为什么需要勤奋和自律？或许从熵增的概念里可以找到答案 ——反熵增 2 什么是熵增？熵: 是一个物理学概念...
生命以负熵为生
人活着就是在对抗熵增定律，生命以负熵为生。 ——薛定谔《生命是什么》熵（Entropy）...
什么熵
信息量定义概率越低信息量越大概率越高信息量越低公式例如事件概率信息量电脑炸了0.1电脑无法开机0.2电脑开机0...
二零一六年合集
杂学熵 (Entropy) 能否尽量通俗地解释什么叫做熵？熵的社会学意义如何看待“热寂说”？宇宙会随着熵增终结于...
今日头条——熵
人活着就是在对抗熵增定律，生命以负熵为生。——薛定谔《生命是什么》熵增定律：为什么熵增理论让好多人一下子顿悟了 ...
信息熵与最大熵模型
信息熵是什么？机器学习入门：重要的概念---信息熵（Shannon’s Entropy Model）信息熵信息论中...
人工智能通识-科普-最大熵
欢迎关注我的专栏( つ•̀ω•́)つ【人工智能通识】最大熵是什么？最大熵有什么意义？信息熵公式在这篇文章中，...

网友评论

初识深度学习

本文标题：什么熵

本文链接：https://www.haomeiwen.com/subject/tcfhkctx.html

延伸阅读

深度阅读

您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

什么熵

信息量

熵

相对熵（KL离散度）

交叉熵

相关文章

机器学习面试之各种混乱的熵

熵增定律——构建良性人生的基石

熵增定律_作者:邵明

人为什么要勤奋和自律？

生命以负熵为生

什么熵

二零一六年合集

今日头条——熵

信息熵与最大熵模型

人工智能通识-科普-最大熵

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读

初识深度学习