美文网首页科普小常识Linux嵌入式编程
深度学习概念之✨线性单元!

深度学习概念之✨线性单元!

作者: 罗蓁蓁 | 来源:发表于2020-12-16 11:57 被阅读0次

    深度学习概念之✨线性单元!其实就是把感知器的阶跃函数改为可导的线性函数,这是就改名叫线性单元了!!

    感知器有一个问题,当面对的数据集不是线性可分的时候,『感知器规则』可能无法收敛,这意味着我们永远也无法完成一个感知器的训练。为了解决这个问题,我们使用一个可导线性函数来替代感知器的阶跃函数,这种感知器就叫做线性单元。线性单元在面对线性不可分的数据集时,会收敛到一个最佳的近似上。

    为了简单起见,我们可以设置线性单元的激活函数f为:
    f(x)=x
    这样的线性单元如下图所示:

    linear.png

    对比此前我们讲过的感知器:


    stepfunc.png

    这样替换了激活函数f之后,线性单元将返回一个实数值而不是0,1分类。因此线性单元用来解决回归问题而不是分类问题。

    线性单元的模型

    当我们说模型时,我们实际上在谈论根据输入x预测输出y的算法。比如,x可以是一个人的工作年限,y可以是他的月薪,我们可以用某种算法来根据一个人的工作年限来预测他的收入。比如:
    y=h(x)=w\ast x+b
    函数hx做假设,而w、b是它的参数。我们假设参数w=1000,参数b=500,如果一个人的工作年限是5年的话,我们的模型会预测他的月薪为:
    y=h(x)=w_1*x_1+w_2*x_2+w_3*x_3+w_4*x_4+b
    其中,x1对应工作年限,x2对应行业,x3对应公司,x4对应职级。

    为了书写和计算方便,我们可以令w0等于b,同时令w0对应于特征x0。由于x0其实并不存在,我们可以令它的值永远为1。也就是说:
    b=w_0*x_0\,\,\,\,\,\,\,\,\,\,\,\,其中x_0=1
    这样,上面的式子可以这样写:
    y=h(x)=w_1*x_1+w_2*x_2+w_3*x_3+w_4*x_4+b\\ \,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,\,=w_0*x_0+w_1*x_1+w_2*x_2+w_3*x_3+w_4*x_4
    我们可以把上面的式子写成向量的形式:
    y=h(x)=w^Tx
    长成这种样子模型就叫做线性模型,因为输出y就是输入特征x1,x2,x3,......的线性组合

    相关文章

      网友评论

        本文标题:深度学习概念之✨线性单元!

        本文链接:https://www.haomeiwen.com/subject/tuungktx.html