互信息测度

作者: 此间不留白 | 来源:发表于2020-10-06 21:32 被阅读0次

互信息测度
基于互信息和左右信息熵的短语提取
测度与测度空间
Mahout距离测度
吴军信息论笔记|如何利用互信息解决问题
熵之道
时光测度
游戏测度
时空质的外延部份涉及到其数值测度问题
互信息——事件相关性度量

上海交通大学医学图像处理技术

信息的测度

Hartley 用如下公式，定义了信息的测度：
$H = n \log s$
其中， $n$ 代表信息的长度，而 $s$ 表示信息中每个信息种类可能值（概率）的数量。

Shannon 提出了基于Shannon 熵新的信息测度公式，如下所示：
$H = \sum_{i}p_i \log \frac{1}{p_i}$

Shannon 熵公式根据结果发生的概率对信息进行了权重处理
事件发生的信息量与其概率成反比

用熵表示图像配准效果

用熵的概念表示图像的配准效果，熵在此处和灰度相关直方图一样，如下图所示，在二维平面上生成两幅图像的灰度相关直方图来判断图像的配准效果，如果图像配准效果好，灰度相关直方图的分布越集中，反之，越分散。

定义联合熵的公式如下所示：
$H(A,B) = -\sum_{i,j}p(i,j) \log [p(i,j)]$ '

图像配准的效果越好，联合熵的值越小。

互信息的定义

两幅图像的互信息有三种常用的定义，如下：
(1)
$I(A,B) = H(B)-H(B|A) = H(A) - H(A|B)$
其中 $H(B|A)$ 表示 $A$ 已知的情况下， $B$ 的信息测度。

(2)
$I(A,B) = H(A)+H(B)-H(A,B)$

互信息测度的值越大，联合熵的值越小；
使用互信息而不是联合熵的优势在于，互信息包括了单个输入的熵；
在图像背景区域较低的情况下，图像的联合熵也会更小，所以使用互信息测度优于联合熵。

(3)
$I(A,B) = \sum_{a.b}p(a,b) \log (\frac{p(a,b)}{p(a) p(b)})$

此定义与两个分布之间的Kullback-Leibler距离有关；
此公式定义了两个分布之间的依赖性；
$I(A,B)$ 的值越大，则图像的配准效果越好；
在特征选择中，将该值最小化，以确保两个特征不相关。

归一化互信息的定义

归一化互信息的定义如下：
$NMI(A,B) = \frac{H(A)+H(B)}{H(A,B)}$
熵相关系数
$ECC(A,B) = 2- \frac{2}{NMI(A,B)}$

互信息的性质

互信息具有如下几个性质：

$A,B$ 的互信息等于 $B,A$ 的互信息，即 $I(A,B) = I(B,A)$
$I(A,A) = H(A)$ ,即一幅图像本身的互信息等于该图像的熵；
两幅图像之间的互信息小于其本身的熵，即 $I(A,B) \le H(A),I(A,B) \le H(B)$
$I(A,B) \ge 0$ , $B$ 已知的情况下，无法增加 $A$ 的不确定性；
$I(A,B) = 0$ ,说明两幅图像完全无关；
如果 $A,B$ 是高斯分布，其互信息可以用如下公式表达：
$I(A,B) = - \frac{1}{2} \log (1- \rho)^2$

互信息在图像配准过程中的应用

结合以上所学，总结出利用互信息进行图像配准的一些方法框架，如下图所示，描述了图像配准中一些主流的测度方法，转换方法和优化的算法：

利用互信息的图像配准流程

下图表述了利用互信息实现图像配准的基本流程，首先通过对输入图像进行预处理，再通过初始的概率密度预估，通过互信息测度评估图像配准的结果，并通过最优化算法加速这一过程，再利用图像配准中的一些转换方法重新调整图像，并不断迭代此过程，直到达到最优的配准结果。

概率密度预估一般是通过计算两幅图像的联合熵实现的，但是，也有通过Parzen Winodow方法实现的概率密度估计，通过采样点 $S_x,S_y$ 的加权和实现，加权是通过高斯窗实现的，如下公式所示:
$p(x,y,S_x,S_y) = \frac{1}{N} \sum_{s} W (Dist(x,y:S_x,S_y))$