美文网首页
深度学习知识点汇总-机器学习基础(6)

深度学习知识点汇总-机器学习基础(6)

作者: 深度学习模型优化 | 来源:发表于2019-05-10 02:08 被阅读0次

    2.6 逻辑回归与朴素贝叶斯有什么区别?

    1. 逻辑回归是判别模型, 朴素贝叶斯是生成模型。
    2. 朴素贝叶斯属于贝叶斯,逻辑回归是最大似然,两种概率哲学间的区别。
    3. 朴素贝叶斯需要条件独立假设。
    4. 逻辑回归需要求特征参数间是线性的。

    线性回归的样本的输出,都是连续值,y\in (-\infty ,+\infty ),而逻辑回归中y\in (0,1),只能取0和1。

    逻辑回归与线性回归的关系

    ​对于拟合函数也有本质上的差别:

    ​线性回归:f(x)=\theta ^{T}x=\theta _{1}x _{1}+\theta _{2}x _{2}+...+\theta _{n}x _{n}

    ​逻辑回归:f(x)=P(y=1|x;\theta )=g(\theta ^{T}x),其中,g(z)=\frac{1}{1+e^{-z}}为sigmoid函数。

    由上可知,线性回归的拟合函数,是对f(x)的输出变量y的拟合,而逻辑回归的拟合函数是对为类别1样本的概率的拟合。

    \theta ^{T}x=0就相当于是1类和0类的决策边界:

    • \theta ^{T}x>0,则y>0.5;若\theta ^{T}x\rightarrow +\infty,则y \rightarrow 1,即y为1类;
    • \theta ^{T}x<0,则y<0.5;若\theta ^{T}x\rightarrow -\infty,则y \rightarrow 0,即y为0类;

    在线性回归中\theta ^{T}x为预测值的拟合函数;而在逻辑回归中\theta ^{T}x为决策边界。

    线性回归 逻辑回归
    目的 拟合 分类
    y^{(i)} 未知 (0,1)
    函数 拟合函数 分类函数
    参数计算方式 最小二乘法 极大似然估计或者交叉熵

    相关文章

      网友评论

          本文标题:深度学习知识点汇总-机器学习基础(6)

          本文链接:https://www.haomeiwen.com/subject/smicoqtx.html