概率图模型

昨天为止终于把西瓜书的第十四章给稍稍的弄明白一点

为什么使用概率图模型

   更加的简化变量之间的关系   或者说求解问题时更少的步骤  减少时间复杂度  为了提高效率

概率图模型是什么

   用来表达变量之间的关系    最终求得条件概率分布（后验概率）

概率图模型的由来

   由概率模型 （将学习任务变成计算变量概率分布） 
   + 图  发展而来的 （也就是说学习概率图模型 要有一定的概率与图的基础）

概率图模型的分类

按照图来进行划分
         有向图  （贝叶斯网络）  
                   隐马尔可夫模型
         无向图   （马尔可夫网络）
                   马尔可夫随机场     
                   条件随机场
按照建模类型
         生成式（对联合概率建模）
                     隐马尔可夫模型
                     马尔可夫随机场
         判别式（对条件概率建模）
                      条件随机场

学习的一个过程

  先学习模型（上述的几个模型）
  估计参数（求解参数）
           学习与推断（中心的一个思想  利用已知变量推测未知变量的分布）
                     精确推断（具体的计算）
                     近似推断（近似的求解 在允许的误差范围内）
  话题模型（实际的应用）

隐马尔可夫模型HMM

变量类型
       状态变量 hidden variable（系统状态  隐藏  不能直接观察）
       观测变量（观测值 ）
性质
    在任意时刻的状态 仅与前一时刻的状态有关（状态转移 马尔科夫链） 
        Yi-1-->Yi    P(Yi | Yi-1)
    观测变量的取值仅由同一时刻的状态变量所决定        
        Yi -->Xi     P(Xi | Yi)
参数
   初始状态概率 Π  
   状态转移概率 A  aij   (i 前一个时刻 后一个时刻 的状态的转移)
   输出观测概率 B  bij    （eg: 名词是小明的概率 ）
   λ =【Π ，A，B】  给定  模型就建立好了   
应用
  学习模型    建立马尔可夫模型   学习阶段  如何根据样本计算模型
  求解下一个时刻的Xi+1 的概率 (观测序列) P（Xi | λ） 股票预测 （HMM + RNN）下一个时刻的状态
  预测这个时刻的Yi（状态序列）最大化 P(Yi | λ)   词语判别

马尔可夫随机场MRF

参数
  势函数 potential functions（因子 factor） 定义概率分布函数   
    不同变量之间的联合概率分布    表示了变量之间的相关性  
     非负性   常用指数函数表示
  极大团 Q * 
性质
  条件独立   
       邻接点的独立性

学习与推断

过程（理解思路 主要是求解 边际分布）
  之前的学习都是各种模型（宏观上的理解） 接下来就是对各种参数的求解   
  之前的概率图模型已经求解出 联合概率分布    主要是求解边际分布   
  之前在概率论中学习过 一直联合分布 直接使用 积分就可以求得相应的边际分布
  但那是那个仅限于 联合概率函数简单的情况  这里的联合概率极其的复杂  所以我们采用两种方法计算

精确计算

   变量消去(实质 最原始的计算 带入一一个个累加)
      优点  直观   容易理解    相应的缺点  计算复杂   更多的重复步骤   没有可复用性       
   信念传播（每个节点看成了一个局部  计算的数值可以重复利用）

近似推断（仅学习了一个采样法）

  马尔科夫链蒙特卡洛采样MCMC（我们关心的并不是概率本身这里列举的为期望）   
    核心思想 根据概率密度函数  抽取一组样本 直接用样本进行计算  
       (构造平稳分布为p的马尔科夫链)
     重点  构造马尔科夫链转移概率     
        决绝采样MH    
         吉布斯采样

总结

对于一个问题的求解转变成了对于概率的求解 从而解决了问题