数据挖掘之贝叶斯

作者: 七八音 | 来源:发表于2018-01-01 11:03 被阅读26次

贝叶斯推理

贝叶斯法则

朴素贝叶斯分类器

应用:文本分类

1. 贝叶斯推理

--提供了推理的一种概率手段

--两个基本假设:

(1)待考察的量遵循某概率分布

(2)可根据这些概率以及观察到的数据进行推理,以作作出最优的决策

--贝叶斯推理对机器学习十分重要:

        为衡量多个假设的置信度提供了定量的方法

        为直接操作概率的学习算法提供了基础

        为其他算法的分析提供了理论框架

--机器学习的任务:在给定训练数据D时,确定假设空间H中的最佳假设

        最佳假设: 在给定数据D以及H中不同假设的先验概率的有关知识下的最可能假设

--概率学习系统的一般框架

2. 贝叶斯法则

2.1 基本术语

D :训练数据;

H : 假设空间;

h : 假设;

P(h):假设h的先验概率(Prior Probability)

        即没有训练数据前假设h拥有的初始概率

P(D):训练数据的先验概率

        即在没有确定某一假设成立时D的概率

P(D|h):似然度,在假设h成立的情况下,观察到D的概率;

P(h|D):后验概率,给定训练数据D时h成立的概率;

2.2 贝叶斯定理(条件概率的应用)

公式

        后验概率正比于P(h)和P(D|h)

        反比于P(D):D独立于h出现的概率越大,则D对h的支持度越小

2.3 相关概念

极大后验假设MAP:给定数据D和H中假设的先验概率,具有最大后验概率的假设h:

计算公式

极大似然假设ML:当H中的假设具有相同的先验概率时,给定h,使P(D|h)最大的假设hml:

计算公式

3. 贝叶斯分类器

4. 文本分类

算法描述:

相关文章

  • 数据挖掘之贝叶斯

    贝叶斯推理贝叶斯法则朴素贝叶斯分类器应用:文本分类 1. 贝叶斯推理 --提供了推理的一种概率手段 --两个基本假...

  • 贝叶斯网络

    最近在看《数学之美》,提到了贝叶斯网络,于是便简单搜了一下代码练习了【数据挖掘】贝叶斯网络理论及Python实现浪...

  • 贝叶斯分类器-对文本的分类

    前言 翻看贝叶斯的案例,我们就会发现90%以上的案例都是文本分类,如果想以后转做文本数据数据挖掘,那么贝叶斯应该是...

  • 04 贝叶斯算法 - 贝叶斯网络

    01 贝叶斯算法 - 朴素贝叶斯02 贝叶斯算法 - 案例一 - 鸢尾花数据分类03 贝叶斯算法 - 案例二 - ...

  • 03 贝叶斯算法 - 案例二 - 新闻数据分类

    01 贝叶斯算法 - 朴素贝叶斯02 贝叶斯算法 - 案例一 - 鸢尾花数据分类 常规操作 基准模型方法 数据加载...

  • 数据挖掘-朴素贝叶斯算法

    用途 朴素贝叶斯算法,主要用于对相互独立的属性的类变量的分类预测。(各个属性/特征之间完全没有关系,叫做相互独立,...

  • 贝叶斯计算:为什么说数据是一种资产

    第5章 贝叶斯法 5.3 贝叶斯计算:为什么说数据是一种资产 ➖➖➖➖➖➖➖➖➖➖➖➖➖➖➖ ️5.3 贝叶斯计算...

  • 数据挖掘:理论与算法笔记3-从贝叶斯到决策树

    上一篇: 数据挖掘:理论与算法笔记2-数据预处理下一篇: 数据挖掘:理论与算法笔记4-神经网络 3 从贝叶斯到决策...

  • 从胃和瞌睡的关系看认知

    先看看贝叶斯 再看看贝叶斯公式 再说说贝叶斯在生活中的运用 1.数学之美番外篇:平凡而又神奇的贝叶斯方法 2.贝叶...

  • 决策树和朴素贝叶斯

    看看例子 1、使用自带的iris数据集 朴素贝叶斯 二、3种贝叶斯模型 1、高斯分布朴素贝叶斯¶ 高斯分布就是正态...

网友评论

    本文标题:数据挖掘之贝叶斯

    本文链接:https://www.haomeiwen.com/subject/rrxtnxtx.html