2018-09-28 #Papers# Gaussian Mix

作者: 雨见青城 | 来源:发表于2018-09-29 10:31 被阅读0次

2018-09-28 #Papers# Gaussian Mix
2019-01-03[Stay Sharp]Gaussian D
2019-01-13[Stay Sharp]Gaussian m
MA 598学习计划
LoG
2018-09-28
小小说一一局长的办公室
高斯模糊（Gaussian Blur）笔记
朴素贝叶斯分类器
3.10 THE LU FACTORIZATION

IPRA(Iterative Pairwise Replacement Algorithm)

对于GMR算法，待给定的参数包括：

Component个数 $K$ ，即包含的（一元/多元）高斯分布的个数。
Bandwidth $h$ ，kernel覆盖范围，控制“局部性”， $h$ 越小，->更小的邻域，曲线不够光滑； $h$ 越大 ->更大的邻域，曲线更光滑。
$h$ 值的选取不需要太严格，而 $K$ 的选取较影响GMR拟合效果和预测性能，先重点描述如何确定 $K$ 。

IPRA算法便用于确定初始Component个数 $K$ 。其主要思想是，对于 $n$ 个数据点，初始化n个GMM，使其过拟合。按照一定顺序比较两个Component的相似性，如果相似则合并两个Component，并更新其参数，迭代执行这个过程直到满足终止条件。IPRA主要包含3个步骤：

Similarity measure
Ordering merging
Update parameters

TODO:每一个过程的分析待添加

Similarity measure

本文利用 $Weighted \ Hellinger \ Distance$ 来衡量相似性。
最终公式是： $H(w_1, w_2, \phi_1, \phi_2) = \sqrt{({w_1}{w_2})}(1 - 2 \int{\sqrt{{\phi_1} {\phi_2} }dx})$

image.png

Ordering merging

本文应用MST(Minimum Spanning Tree)来决定merging的顺序：
利用上述 $Weighted \ Hellinger \ Distance$ 计算第 $i$ , $j$ 个Component的相似性( $i \neq j$ )，构建MST，选择距离最小，即相似度最高的两个Component进行合并。

Update parameters

本文应用MoM(Method-of-Moments)来更新合并后的Component参数，公式如下：
$w = w_i + w_j$ $\mu = \frac{w_i}{w}{\mu_i} + \frac{w_j}{w}{\mu_j}$ $\Sigma = \frac{w_i}{w}{\Sigma_i} + \frac{w_j}{w}{\Sigma_j} + \frac{{w_i}{w_j}}{w^2}{(\mu_i - \mu_j)(\mu_i - \mu_j)^{T} }$