美文网首页
西瓜书 第3章 线性模型 学习笔记

西瓜书 第3章 线性模型 学习笔记

作者: Spareribs | 来源:发表于2018-09-06 22:04 被阅读87次

    第3章 线性模型

    3.1 基本形式

    线性模型:
    f(x) = w_1x_1 + w_2x_2 + w_3x_3 + ··· + w_dx_d + b \tag{3.1}
    向量形式表示线性模型:
    f(x) = w^Tx + b \tag{3.2}

    3.2 线性回归

    线性回归试图学得:
    f(x_i) = wx_i + b,使得 f(x_i)\simeq y_i \tag{3.3}
    均方误差最小化:w^*b^*表示 w 和 b 的解
    \begin{eqnarray*} (w^*,b^*) = {argmin \atop (w, b)}\sum_{i=1}^m(f(x_i) - y_i)^2\\ = {argmin \atop (w, b)}\sum_{i=1}^m(y_i - wx_i - b)^2 \end{eqnarray*} \tag{3.4}

    (#TODO此处应该有求解过程)

    3.2 线性回归

    线性回归模型
    y = w^Tx + b \tag{3.13}
    对数线性回归模型
    lny = w^Tx + b \tag{3.14}
    广义线性回归模型
    y = g^{-1}(w^Tx + b)\tag{3.15}

    3.3 对数记录回归

    单位阶跃函数:
    y=\begin{cases} 0, \quad z < 0 \\\\ 0.5, \quad z = 0;\\\\ 1, \quad z > 0 \end{cases} \tag{3.16}
    对数几率函数:
    y = \frac{1}{1 + e^{-z}} \tag{3.17}
    对数几率模型将对数几率函数代入(3.15),即是 w^Tx + b 代入 z,得到:
    y = \frac{1}{1 + e^{-(w^Tx + b)}} \tag{3.18}
    类似(3.14)变化得到:
    ln{\frac{y}{1-y}} = w^Tx + b \tag{3.19}
    几率:反应作为正例的可能性
    \frac{1}{1 -y} \tag{3.20}
    对数几率:
    ln \frac{1}{1 -y} \tag{3.21}

    相关文章

      网友评论

          本文标题:西瓜书 第3章 线性模型 学习笔记

          本文链接:https://www.haomeiwen.com/subject/pirfgftx.html