美文网首页
2018-10-29 修改model - 共用协方差矩阵

2018-10-29 修改model - 共用协方差矩阵

作者: 昊昊先生 | 来源:发表于2018-10-30 10:59 被阅读0次

1.协方差矩阵

协方差矩阵 Σ表示的是n个元素之间两两对应的关系,所以协方差矩阵 Σ是一个nxn的矩阵。

协方差矩阵 Σ>0;两个元素之间关系为正相关,协方差矩阵 Σ<0;两个元素之间关系为负相关,协方差矩阵 Σ=0;两个元素之间关系为不相关。

举一个三维的例子,假设数据集有三个维度,则协方差矩阵为:

相关的数学解释:http://www.cnblogs.com/chaosimple/p/3182157.html

2.修改model,共用协方差矩阵,可以明显提升识别概率

通常来说,不会给每个高斯分布都计算出一套不同的最大似然估计,协方差矩阵是和输入feature大小的平方成正比,所以当feature很大的时候,协方差矩阵是可以增长很快的。所以共用一个最大拟然估计!

此时修改似然函数为 L(μ1,μ2,Σ)。μ1,μ2 计算方法和上面相同,分别加起来平均即可;而Σ的计算有所不同。

右图新的结果,分类的boundary是线性的,所以也将这种分类叫做 linear model。如果考虑所有的属性,发现正确率提高到了73%。

相关文章

  • 2018-10-29 修改model - 共用协方差矩阵

    1.协方差矩阵 协方差矩阵 Σ表示的是n个元素之间两两对应的关系,所以协方差矩阵 Σ是一个nxn的矩阵。 协方差矩...

  • 方差、协方差与归一化

    最近总是遇到协方差,不大理解,找到了相关的解释: 我所理解的协方差矩阵 协方差和协方差矩阵

  • 如何从形的角度理解协方差矩阵

    协方差矩阵定义了我们数据的传播(方差)和方向(协方差)。 协方差矩阵的最大特征向量总是指向数据最大方差的方向,并且...

  • Daily Source

    20170301 协方差矩阵的理解 协方差矩阵的几何解释(Very Good) [LDA 线性判别分析](1)(2...

  • 协方差定义及公式

    协方差矩阵时机器学习中常用的概念,今天我们就来完整的介绍一下协方差和协方差矩阵的定义,以及使用python中的nu...

  • 【Intro2SDC】卡尔曼方程参考

    卡尔曼方程参考 卡尔曼滤波器方程 变量定义 - 状态向量 - 状态转移矩阵 - 误差协方差矩阵 - 过程噪声协方差...

  • 学习笔记|程序员的数学:概率统计#5

    5. 协方差矩阵、多元正态分布与椭圆 5.1 协方差与相关系数 5.1.1 协方差 定义: 性质: 依据协方差的正...

  • 协方差矩阵和散布(散度)矩阵

    两者的关系: 散度矩阵 = 协方差矩阵 ×(n-1) 协方差矩阵 对于二维随机变量(X,Y)之间的相互关系的数字特...

  • Asreml-R中的方差模型

    之前总结了一些方差-协方差结构:协方差矩阵,协方差结构 。这篇博客主要内容是Asreml-R中的协方差结构 ,及对...

  • MSI数据之PCA

    PCA:主成分分析 首先对数据进行去中心化(矩阵X),再计算协方差矩阵(就是样本与样本[列与列]之间的协方差,就得...

网友评论

      本文标题:2018-10-29 修改model - 共用协方差矩阵

      本文链接:https://www.haomeiwen.com/subject/ndwwtqtx.html