美文网首页
最大熵模型

最大熵模型

作者: dreampai | 来源:发表于2019-04-16 18:27 被阅读0次

直观理解

image.png

大熵模型在分类方法里算是比较优的模型，但是由于它的约束函数的数目一般来说会随着样本量的增大而增大，导致样本量很大的时候，对偶函数优化求解的迭代过程非常慢，scikit-learn甚至都没有最大熵模型对应的类库。

最大熵的思想

  • 当你要猜一个概率分布时，如果你对这个分布一无所知，那就猜熵最大的均匀分布；
  • 如果你对这个分布知道一些情况，那么，就猜满足这些情况的熵最大的分布。

运用最大熵思想来做多分类问题

  • 找出满足现有情况的分布P(y|x)
  • 使得P(y|x)的熵最大化

优点

  • 最大熵统计模型获得的是所有满足约束条件的模型中信息熵极大的模型,作为经典的分类模型时准确率较高。
  • 以灵活地设置约束条件，通过约束条件的多少可以调节模型对未知数据的适应度和对已知数据的拟合程度

缺点

  • 由于约束函数数量和样本数目有关系，导致迭代过程计算量巨大，实际应用比较难。

参考链接

相关文章

  • 最大熵模型详细解析 | 统计学习方法学习笔记 | 数据分析 |

    本文包括： 1.最大熵模型简介2.最大熵的原理3.最大熵模型的定义4.最大熵模型的学习 1.最大熵模型简介： 最大...

  • 熵

    一、看文章 “熵”不起：从熵、最大熵原理到最大熵模型（一）“熵”不起：从熵、最大熵原理到最大熵模型（二）“熵”不起...

  • 逻辑斯谛回归与最大熵模型

    逻辑斯谛回归与最大熵模型 逻辑斯谛回归模型 最大熵模型 最大熵模型的学习 逻辑斯谛回归（logistic regr...

  • 逻辑斯谛回归与最大熵模型

    逻辑斯谛回归与最大熵模型 首先介绍逻辑斯谛分布： 二项逻辑斯谛回归模型： 最大熵模型： 最大熵原理是概率模型...

  • 最大熵模型

    在满足约束条件的模型集合中选取熵最大的模型，即不确定最大熵模型。最大熵模型就是要学习到合适的分布 P(y|x) ,...

  • Day 2080：学习

    #统计学习 最大熵模型：由最大熵原理推导而得 最大熵原理是概率模型学习的一个准则，它认为所有可能的概率模型中，熵最...

  • 改进的迭代尺度法(IIS)详细解析 | 统计学习方法学习笔记 |

    IIS是一种最大熵模型学习的最优化算法。最大熵模型：舟晓南：统计学习方法 - 最大熵模型解析 | 数据分析，机器学...

  • 最大熵模型

    序 本次记录的主要内容有：1、熵的概念2、最大熵模型推导 模型属性 ME是经典的分类模型ME是对数线性模型 最大熵...

  • 最大熵模型

    GitHub简书CSDN 1. 最大熵原理 最大熵模型（Maximum Entropy Model)是通过最大熵原...

  • 统计学习方法7.3 - 7.4笔记

    7.3 最大熵模型：拉格朗日乘子法 最大熵模型：在待选集合C中挑选条件熵最大的条件概率分布（P），并且符合约束条件...

网友评论

      本文标题：最大熵模型

      本文链接：https://www.haomeiwen.com/subject/yckiwqtx.html

      延伸阅读

      深度阅读

      • 您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

      栏目导航

      热点阅读

      关于我们|服务条款|联系我们|最大熵模型|投稿指南|网站地图|RSS订阅|排版工具|手机版

      提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

      Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网 版权所有

      备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

      本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

      所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！