神经网络到底记住了什么信息

姓名：李嘉蔚学号：16020520034

【嵌牛导读】：记住的信息到底是什么，只能意会不能言传。

只能弄个神经网络出来，却不知道它的运作原理，连它收集的是什么信息，都不知道吗。

【嵌牛鼻子】：神经元。

【嵌牛提问】：假设机器的摄像头，只有这么些感光点阵列，它是如何记住“直线”这个概念的？

【嵌牛正文】：

神经网络到底记住了什么信息

假设，下面这些都是可以被识别的直线，对于神经网络，直线的意义究竟是什么。

神经网络到底记住了什么信息 神经网络到底记住了什么信息 神经网络到底记住了什么信息

怎么用小概率事件，来描述直线这个东西。

我假设，随机状态下，点的相对位置是散乱的，每个相对位置用一个概率来表示，

如何使散乱的概率变大，直线的概率变小。

神经网络到底记住了什么信息

假设《底层》有10*10 = 100个点（神经元），你画的直线由7个点组成；你可以想象这100个点的上方《第二层》还有1个点（神经元）；和这7个点相连；假设底层的7个点激活，那么《第二层》的一个点就会激活；因此输出层的这个点能探测到底层这条直线；而在第二层探测所有图案的可能组合需要2^100次方个神经元，（地球上水分子总数？），而大部分图案是没有意义的噪点；为了解决这种组合爆炸问题，我们需要第二层只负责识别一些“有意义的局部模式”，比如说只负责探测底层的相邻的点的组合，比如探测底层的第一个和第二个神经元，这样第二层只有（64*8+32*5+4*3）/2 = 342种“有意义的模式组合”，我们再设立《第三层》对《第二层》探测出来的模式继续进行探测（组合的组合），充其量又有342*2种（模式两头一定范围有且仅有一模式，识别4点线段），《第四层》依此类推，探测8点以下线段；这样我们第四层用远小于地球上水分子总数的神经元探测了底层的直线，约2000个，如果第四岑有激活的神经元我们就知道《底层》出现了直线。我们可以用增加第二层模式，和底层尺度缩放来解决第3和第4张图的问题。

对于生物脑必须对以上4层建立硬连接，但工程上有方法叫傅里叶变换和卷积，又大大化简了以上过程；而要明白以上网络的训练过程又要理解线性代数和微积分。

任何视觉听觉触觉的输入信号都可以用一维二维空间加时间点阵来表示，都基于类似原理；而所有经过识别的外部和内部信号（即智能体当前的状态）也都可以用点阵来表示，判断当前状态的价值，同样是模式识别问题；当前状态的和当前行为的组合也可以用点阵来表示，可以用同样的原理来预测(探测)后续的可能状态，并探测后续状态的价值来对当前行为进行取舍；也基于类似原理。

对神经网络有一些直观、感性的理解，看那些天书一样的数学式子，对我没有任何帮助，

我也很奇怪，搞神经网络理论的那些人，他们是如何判断一个模型的好坏，改进的方向如何确定，难道只看输出吗，他们看了输出，就能确定如何改进模型吗，这是神经网络啊，他们能预料一个神经网络的输出变化，太叼了。

神经网络到底记住了什么信息 神经网络到底记住了什么信息 神经网络到底记住了什么信息

现代的深层人工神经网络在经过无监督学习后可以逐层提出各种视觉特征。下面用的是人脸的训练图片例子。

神经网络到底记住了什么信息

这些就是神经网络在学习后记住的东西。最左边的一层神经网络提出来的是一些最基本的特征，如各种角度的直线段，色块，阴影等。如果你提出一张新的图片让它辨识，他就是根据这些特征来做辨识的工作的。