美文网首页
统计学习方法(三)感知机为什么不能表示异或

统计学习方法(三)感知机为什么不能表示异或

作者: shijiatongxue | 来源:发表于2018-10-22 09:49 被阅读0次

    习题2.1

    Minsky与Papert指出:感知机因为是线性模型,所以不能表示复杂的函数,如异或(XOR)。验证感知机为什么不能表示异或。

    首先看一下异或
    简单理解,如果两个数a和b进行异或操作。如果a、b两个值不相同,则异或结果为1。如果a、b两个值相同,异或结果为0。

    a b a\bigoplus b
    0 0 0
    0 1 1
    1 0 1
    1 1 0

    而感知机的模型为f(x)=sign(w \cdot x + b)
    sign是符号函数,即sign(x)= \begin{cases} +1, x \geq 0 \\ -1, x<0 \end{cases}
    证明:
    现在假设感知机可以模拟异或运算,进行反证。为了简便,假设x向量只有两个维度x_1x_2

    • 要想x_1=0x_2=0时,f(x)=0,则需要b<0
    • 接下来验证x_1=0x_2=1时,要想f(x)=1,需要w_2>-b>0
    • 接下来验证x_1=1x_2=0时,要想f(x)=1,需要w_1>-b>0
    • 最后验证x_1=1x_2=1时,已知w_1>-b>0,w_2>0,b<0,则w_1 \cdot x_1 + w_2 \cdot x_2 + b > 0

    而异或操作需要f(x)=-1(也就是0),所以假设不成立。命题得证。


    参考文献:
    李航. 统计学习方法[M]. 清华大学出版社, 2012.

    相关文章

      网友评论

          本文标题:统计学习方法(三)感知机为什么不能表示异或

          本文链接:https://www.haomeiwen.com/subject/vkswzftx.html