美文网首页自然语言处理学习笔记
学习笔记-拉普拉斯先验与L1正则化和高斯先验与L2正则化

学习笔记-拉普拉斯先验与L1正则化和高斯先验与L2正则化

作者: Pluto_wl | 来源:发表于2020-03-07 20:50 被阅读0次

在之前的笔记中记录了L1与L2正则化，现在我们来看为什么拉普拉斯先验等同于L1正则化，高斯先验等同于L2正则化。

拉普拉斯先验与L1正则化

  1. 拉普拉斯分布
    f(x|\mu, b) = \frac{1}{2b} \exp(-\frac{|x-\mu|}{b}) \tag{1.1}

  2. 拉普拉斯先验
    假设数据服从拉普拉斯分布，即参数\theta遵循拉普拉斯分布
    2.1 将式（1.1）中的x替换为\theta
    P(\theta)=f(\theta|\mu, b) = \frac{1}{2b} \exp(-\frac{|\theta-\mu|}{b}) \tag{1.2}
    2.2 取log
    logP(\theta)=-log(2b) - \frac{|\theta-\mu|}{b} \tag{1.3}
    2.3 设\mu=0
    logP(\theta)=-log(2b) - \frac{|\theta|}{b} \tag{1.4}
    2.4 令\lambda=\frac{1}{b}
    logP(\theta)=-log(2b) - \lambda |\theta| \tag{1.4}
    从这里我们可以看出拉普拉斯先验等同于常数+L1正则化，即MLE+L1正则化

高斯先验与L2正则化

  1. 高斯分布
    假设随机变量X分布的期望为\mu,方差为\delta
    f(x)=\frac{1}{\sqrt{2\pi}\delta}e^{-\frac{(x-\mu)^2}{2 \delta ^2 }} \tag{2.1}
  2. 假设数据服从高斯分布，即参数\theta服从高斯分布
    2.1 将式(2.1)中的x替换为\theta
    P(\theta)=f(\theta)=\frac{1}{\sqrt{2\pi}\delta}e^{-\frac{(\theta-\mu)^2}{2 \delta ^2 }} \tag{2.1}
    2.2 取log
    log(P(\theta))=-\sqrt{2\pi}\delta {-\frac{(\theta-\mu)^2}{2 \delta ^2 }} \tag{2.2}
    2.3 令\mu=0
    log(P(\theta))=-log(\sqrt{2\pi}\delta) {-\frac{(\theta)^2}{2 \delta ^2 }} \tag{2.3}
    2.4 令\lambda = \frac{1}{2\delta ^2}
    log(P(\theta))=-log(\sqrt{2\pi}\delta) {-\lambda \theta ^2} \tag{2.4}
    从这里我们可以看出高斯先验等同于一个常数+L2正则化即 MLE+L2正则化

相关文章

  • 学习笔记-拉普拉斯先验与L1正则化和高斯先验与L2正则化

    在之前的笔记中记录了L1与L2正则化，现在我们来看为什么拉普拉斯先验等同于L1正则化，高斯先验等同于L2正则化。 ...

  • Q&A

    ML 为什么L1正则等价于参数为拉普拉斯先验分布，L2正则等价于参数为高斯先验分布？ focal loss 与 C...

  • Logistic模型及其Scikit-learn实现

    penalty:正则化参数，可选l1或l2，分别对应l1正则化和l2正则化，默认为l2正则化。一般来说l2正则化可...

  • 深度学习dropout作用与原理

    Dropout 作用： 避免过拟合。 Dropout与L1和L2正则化区别： L1和L2正则化通过在损失函数上增加...

  • L1与L2正则

    L1正则假设参数的先验分布是Laplace分布，可以保证模型的稀疏性，也就是某些参数等于0；L2正则假设参数的先验...

  • L1正则化与L2正则化学习笔记

    本文是本人学习了相关机器学习课程后的一个关于L1正则化与L2正则化的学习笔记。 正则化 从上图1 可知，随着训练迭...

  • DL4J中文文档/开始/速查表-2

    正则化 L1/L2 正则化 L1和L2正则化可以容易地通过配置：.l1(0.1).l2(0.2)添加到网络中。注意...

  • 2020-07-28

    1. 神经网络之L2正则化_Igor-CSDN博客_matlab神经网络l2正则化 2. l1正则与l2正则的特点...

  • L1正则化和L2正则化的联系和区别

    机器学习中，一般损失函数后边会添加一个额外项，一般称作L1正则化L2正则化或者L1范数L2范数。L1、L2正则化可...

  • 正则化的种类及选择依据

    正则化选择依据 L1、L2正则化 选择lambda

网友评论

    本文标题：学习笔记-拉普拉斯先验与L1正则化和高斯先验与L2正则化

    本文链接：https://www.haomeiwen.com/subject/rtbhdhtx.html

    延伸阅读

    深度阅读

    • 您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

    栏目导航

    热点阅读

    自然语言处理学习笔记

    关于我们|服务条款|联系我们|学习笔记-拉普拉斯先验与L1正则化和高斯先验与L2正则化|投稿指南|网站地图|RSS订阅|排版工具|手机版

    提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

    Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网 版权所有

    备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

    本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

    所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！