原文：https://www.zybuluo.com/hanbingtao/note/433855
作者写得还是比较详细的，大家可以去看原作者写的。
神经网络模型
最左边的为输入层，中间的为隐藏层，最后边的一层为输出层。隐藏层大于2的时候就是一个深度神经网络。在深度神经网络基础上的就是深度学了。
神经网络模型
可以看做是y = f（x1,x2,...xn）的函数，线段是这些因变量之间的制约关系，因为需要满足很多组数据，所以隐藏层的参数需要不断调整。
感知器
神经网络的组成单元——神经元，也被称为感知器。下图就是一个感知器，在写代码的时候都是依据此图进行编写，尝试画几遍，看代码的时候更容易理解。
感知器
左上1 为偏置项，用于修正一些结果。
x1，x2...xn为输入项
w1，w2等为每一个输入对应的权重
感知器的输出为一个函数（此处为 weighted sum）我觉得应该可以是任何函数，当然需要保证计算方便，也要保证将输入的使用上。
激活函数，用于将神经元的输出转换为理想的输出，如感知器的输出可能是在（-∞，∞）之间，但是我们希望转换为0-1的概率，就可以使用激活函数。
使用感知器模拟and运算
| x1 | x2 | 输出结果 |
|---|---|---|
| 0 | 0 | 0 |
| 0 | 1 | 0 |
| 1 | 0 | 0 |
| 1 | 1 | 1 |
则针对这个and 感知器的模型应该是下面这样子的：
and感知器
- b是偏置项，在对应的一组（x，y）下调整b，每次调整多大？由此需要引入一个学习速率rate，调整的进度就是b = rate*误差
- 误差的计算在当前权值下计算的输出和 理论输出的差值，如对于and 运算输入都为1时(x,y) = （(1,0),0）如果感知器的输出结果是1 则误差为0-1 。
- 权重的调整，输入* 学习速度 * 误差（weight = weight + x * rate * 误差）
and，or感知器的实现
#实现向量之间的操作
class VectorOp(object):
#向量点乘
def dot(x,y):
return sum(map(lambda item:item[0] * item[1],zip(x,y)))
#向量加法
def add(x,y):
data = [d1 + d2 for (d1,d2) in zip(x,y) ]
return data
#向量乘标量
def mul(v,s):
return [e * s
for e in v
]
#实现一个感知器
class Perception(object):
#初始化参数列表，偏置变量，以及激活函数，学习效率
def __init__(self,input_num,activor,rate):
self.activor = activor
self.weights = [0.0 for _ in range(input_num)]
self.bias = 0.0
self.rate = rate
#输出参数，以及偏置变量
def __str__(self):
return "\n权重列表：{0}，偏置变量：{1}，学习速率：{2}".\
format(self.weights,self.bias,self.rate)
#输入一个数据，计算感知器结果 ，使用激活函数转换为0或者1
def predict(self,input_vect):
temp = VectorOp.dot(self.weights,input_vect) + self.bias
return self.activor(temp)
#使用输入结合训练感知器
def train(self,input_vecs,labels,iteration):
#迭代次数
for i in range(iteration):
#使用全部数据训练感知器
for (input_vec,label) in zip(input_vecs,labels):
#下面这个换成self.predict(input_vec) - label 结果居然不对
delat =label - self.predict(input_vec)
#调整参数
self.update_weight(input_vec,label,delat);
#调整参数
def update_weight(self,input_vec,label,delta):
#weights = weight + （x * rate * delta）
self.weights = VectorOp.add(self.weights ,
VectorOp.mul(input_vec,self.rate * delta)
)
self.bias += self.rate * delta
#激活函数
def f(x):
return 1 if x > 0 else 0
#----------------------------------分割线---------------------------------------------------------------------------------
#----------------------------------分割线---------------------------------------------------------------------------------
#----------------------------------分割线---------------------------------------------------------------------------------
p = Perception(2,f,0.1)
#and 运算的结果
# 期望的输出列表，注意要与输入一一对应
# [1,1] -> 1, [0,0] -> 0, [1,0] -> 0, [0,1] -> 0
input_vecs = [(1,1),(1,0),(0,1),(0,0)]
labels = [1,0,0,0]
p.train(input_vecs,labels,10) #10次迭代
print(p.__str__())
print("1 and 1 = %s" % p.predict((1,1)))
print("1 and 0 = %s" % p.predict((1,0)))
print("0 and 1 = %s" % p.predict((0,1)))
print("0 and 0 = %s" % p.predict((0,0)))
print("------------下面来尝试一下or运算---------------")
input_vecs = [(1,1),(1,0),(0,1),(0,0)]
labels = [1,1,1,0]
or_p = Perception(2,f,0.1)
or_p.train(input_vecs,labels,10)
print(or_p.__str__())
print("1 or 1 = %s" % or_p.predict((1,1)))
print("1 or 0 = %s" % or_p.predict((1,0)))
print("0 or 0 = %s" % or_p.predict((0,0)))
print("0 or 1 = %s" % or_p.predict((0,1)))
运行结果：
权重列表：[0.1, 0.2]，偏置变量：-0.2，学习速率：0.1
1 and 1 = 1
1 and 0 = 0
0 and 1 = 0
0 and 0 = 0
------------下面来尝试一下or运算---------------
权重列表：[0.1, 0.1]，偏置变量：0.0，学习速率：0.1
1 or 1 = 1
1 or 0 = 1
0 or 0 = 0
0 or 1 = 1
那个计算函数 和 激活函数 我觉得应该是能够随便选的，但是为啥我将激活函数改为下面的样子就不正确了？？？
激活函数
网友评论