美文网首页
统计学习方法（三）感知机为什么不能表示异或

统计学习方法（三）感知机为什么不能表示异或

作者: shijiatongxue | 来源:发表于2018-10-22 09:49 被阅读0次

习题2.1

Minsky与Papert指出：感知机因为是线性模型，所以不能表示复杂的函数，如异或（XOR）。验证感知机为什么不能表示异或。

首先看一下异或：
简单理解，如果两个数a和b进行异或操作。如果a、b两个值不相同，则异或结果为1。如果a、b两个值相同，异或结果为0。

a b a\bigoplus b
0 0 0
0 1 1
1 0 1
1 1 0

而感知机的模型为f(x)=sign(w \cdot x + b)
sign是符号函数，即sign(x)= \begin{cases} +1, x \geq 0 \\ -1, x<0 \end{cases}
证明：
现在假设感知机可以模拟异或运算，进行反证。为了简便，假设x向量只有两个维度x_1，x_2。

  • 要想x_1=0，x_2=0时，f(x)=0，则需要b<0；
  • 接下来验证x_1=0，x_2=1时，要想f(x)=1，需要w_2>-b>0；
  • 接下来验证x_1=1，x_2=0时，要想f(x)=1，需要w_1>-b>0；
  • 最后验证x_1=1，x_2=1时，已知w_1>-b>0，w_2>0，b<0，则w_1 \cdot x_1 + w_2 \cdot x_2 + b > 0

而异或操作需要f(x)=-1（也就是0），所以假设不成立。命题得证。

参考文献：
李航. 统计学习方法[M]. 清华大学出版社, 2012.

相关文章

网友评论

      本文标题：统计学习方法（三）感知机为什么不能表示异或

      本文链接：https://www.haomeiwen.com/subject/vkswzftx.html

      延伸阅读

      深度阅读

      • 您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

      栏目导航

      热点阅读

      关于我们|服务条款|联系我们|统计学习方法（三）感知机为什么不能表示异或|投稿指南|网站地图|RSS订阅|排版工具|手机版

      提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

      Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网 版权所有

      备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

      本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

      所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！