1.近似熵：
近似熵能够衡量时间序列中产生新模式的概率大小， 产生新模式的概率越大， 序列就越复杂。 由于近似熵的计算只要较短的数据就可以得到稳健的估计值，因而非常适用于表征非平稳的生物信号。 研究表明：近似熵能够表征人生理状态的变化情况。可用于作为生物信号分类特征。【洪波，唐庆玉 + 近似熵、互近似熵的性质、快速算法及其在脑电与认知研究中的初步应用 】
数据点要求：计算数据长度要求短（100~1000点），当然是针对采样频率高的信号。
实时性要求：根据设备采样频率而定
2.样本熵
样本熵是在近似熵概念的基础上提出的一种改进的复杂度测量方法。它不但具备近似熵所有的优点，而且避免了近似熵中统计量的不一致性。能够衡量时间序列中产生新模式概率的大小．样本熵值越大，产生新模式的概率越大，序列越复杂。可用于作为生物信号分类特征。
数据点数要求：数据要求长度较短（100~5000点）。
实时性要求：根据设备采样频率而定
3.模糊熵：模糊熵是在样本熵基础上提出的一种改进的复杂测量方法。物理意义与样本熵类似。可用于作为生物信号分类特征。
数据点数要求：数据点数长度要求（100点~1500点）（根据文献中信号处理推测）
实时性要求：根据设备采样频率而定
4.条件熵
条件熵的定义是：定义为X给定条件下，Y的条件概率分布的熵对X的数学期望。
image.png
通俗理解见：https://zhuanlan.zhihu.com/p/26551798
5.联合熵：（X,Y）在一起时的不确定性度量
image.png
5.相对熵/K-L散度：跟以上所介绍的熵有本质上的区别,相对熵又称KL散度( Kullback–Leibler divergence)，是描述两个概率分布P和Q差异的一种方法。从信息论的角度考虑，希望使高维空间样本点之间的距离分布与低维嵌入空间的样本点之间的距离分布一致；K-L距离是一种监督的降维方法，在保持样本点间的距离关系的同时，使得类间间隔增大，以利于最终的分类。两个概率密度函数为P(x）和q(x)之间的相对熵或者K-L距离定义为：
1.png
关于信息熵大家只需要记住三条结论：1、对于两个完全相同的函数，相对熵为零。2、相对熵越大，函数差异越大，反之亦然。3、对于概率分布或者概率密度函数，如果取值均大于零，相对熵最早用在信号处理上，如果两个随机信号，它们的相对熵越小，说明信号越接近，否则信号差异越大。后来研究信息处理的学者也用它来衡量两段信息的相似程度，比如说一篇文章是照抄或者改写另一篇，那么两篇文章中词频分布的相对熵就非常小。
6.交叉熵
跟相对熵类似，也是主要用于度量两个概率分布间的差异性信息。关于样本集的两个概率分布 p(x) 和 q(x)，其中 p(x) 为真实分布， q(x) 非真实分布。如果用真实分布 p(x) 来衡量识别别一个样本所需要编码长度的期望（平均编码长度）为：
image.png
其中A和B的K-L散度=A和B交叉熵-A的熵。
应用：交叉熵可在神经网络(机器学习)中作为损失函数，p表示真实标记的分布，q则为训练后的模型的预测标记分布，交叉熵损失函数可以衡量p与q的相似性。交叉熵作为损失函数还有一个好处是使用sigmoid函数在梯度下降时能避免均方误差损失函数学习速率降低的问题，因为学习速率可以被输出的误差所控制。在特征工程中，可以用来衡量两个随机变量之间的相似度。
网友评论