一、最大熵原理
最大熵原理是一种选择随机变量统计特性最符合客观情况的准则。[1]
热力学第二定律说明,当一个热力学系统达到最后热平衡状态时,该系统的熵会达到最大值。[2]
类似地,在无外力作用下,事物总是朝着最混乱无序的方向发展,也就是熵最大的方向发展。在已知条件下,熵最大的事物,最可能接近它的真实状态。[3]
因此,在概率模型中,熵最大的模型是最好的模型[4],最符合实际情况的模型。
二、最大熵模型
2.1、定义[4]
2.2、描述为最优化问题[4]
2.3、问题求解
最大熵模型的最终求解可以归结为最优化问题的求解,具体方法有通用迭代算法(Generative Iterative Scaling,GIS),改进的迭代尺度算法(Improved Iterative Scaling,IIS)。
三、参考
[1]、百度百科
[2]、《浅谈最大熵原理和统计物理学》,曾致远著
[3]、最大熵理论及其应用
[4]、《统计学习方法》,李航著
网友评论