美文网首页
机器学习--逻辑回归

机器学习--逻辑回归

作者: 泓礼 | 来源:发表于2020-02-15 17:05 被阅读0次

    1.分类 vs 回归

    预测分类,预测值

    2.p(y|x)条件概览

    逻辑回归用于二分类或多分类:sigmod函数将x(负无穷--正无穷)映射到0到1,以满足概率0到1的要求,sigmod(Wx+b)

    3.决策边界(decision boundary)

    逻辑回归是线性分类器,由p(y=0|x)==p(y=1|x)推导出边界,即为wx+b,故为直线

    4.目标函数(object function)--最大化目标函数,以求解最优解

    将整个数据集中的样本均用上

    逻辑回归的目标函数为MLE,最大似然函数

    argmax(π(p(yi|Wxi+b)))即使π式最大的参数w,b

    5.Minimizing the function

    凸函数,最优化算法

    循环、迭代算法

    6.梯度下降与逻辑回归的求解

    y(t+1) = y(t) - yita*delta-y(t)

    对mle对w、b分别求导,

    然后随机初始化值,循环迭代进行,直到

    参数或差值不再变化(变化很小);校验集准确性发生变化,从一直变大到由大变小了

    7.随机(随机选择一个样本)梯度下降法,更常用

    避免每次迭代时,都需要读取所有样本数据,增加对每个样本更新参数的操作 

    for i in [0: t]

        shuffle n个样本

        for j in [1:n]

            update w,b

    原始的梯度下降和随机梯度下降,两个极端:batch vs single,所以有折中方案,mini batch,每次考虑一部分样本,batch的比较稳定,single的有的噪声样本会导致波动

    相关文章

      网友评论

          本文标题:机器学习--逻辑回归

          本文链接:https://www.haomeiwen.com/subject/nmfyfhtx.html