最大熵模型

作者: Herbert002 | 来源:发表于2016-03-19 18:35 被阅读379次

    一、最大熵原理

    最大熵原理是一种选择随机变量统计特性最符合客观情况的准则。[1]

    热力学第二定律说明,当一个热力学系统达到最后热平衡状态时,该系统的熵会达到最大值。[2]

    类似地,在无外力作用下,事物总是朝着最混乱无序的方向发展,也就是熵最大的方向发展。在已知条件下,熵最大的事物,最可能接近它的真实状态。[3]

    因此,在概率模型中,熵最大的模型是最好的模型[4],最符合实际情况的模型。

    二、最大熵模型

    2.1、定义[4]

    2.2、描述为最优化问题[4]

    2.3、问题求解


    最大熵模型的最终求解可以归结为最优化问题的求解,具体方法有通用迭代算法(Generative Iterative Scaling,GIS),改进的迭代尺度算法(Improved Iterative Scaling,IIS)。

    三、参考

    [1]、百度百科

    [2]、《浅谈最大熵原理和统计物理学》,曾致远著

    [3]、最大熵理论及其应用

    [4]、《统计学习方法》,李航著

    相关文章

      网友评论

        本文标题:最大熵模型

        本文链接:https://www.haomeiwen.com/subject/jlfhlttx.html