神经网络之感知器

感知器的定义

下面是一个感知器：

Paste_Image.png

可以看到，一个感知器有如下组成部分：

• 输入权值 一个感知器可以接收多个输入，每个输入上有一个权值，此外还有一个偏置项，就是上图中的。
• 激活函数 感知器的激活函数可以有很多选择，比如我们可以选择下面这个阶跃函数来作为激活函数：

Paste_Image.png

• 输出 感知器的输出由下面这个公式来计算

Paste_Image.png

事实上，感知器不仅仅能实现简单的布尔运算。它可以拟合任何的线性函数，任何线性分类或线性回归问题都可以用感知器来解决。

感知器训练法则

A）初始化权向量w=(w0,w1,…,wn)，将权向量的每个值赋一个随机值。
B）对于每个训练样例，首先计算其预测输出：

Paste_Image.png

C）当预测值不等于真实值时则利用如下公式修改权向量：

各符号含义： 代表学习速率，t代表样例的目标输出，o代表感知器输出。
D）重复B）和C），直到训练集中没有被错分的样例。
算法分析：

若某个样例被错分了，假如目标输出t为-1，结果感知器o输出为1，此时为了让感知器输出-1，需要将wx减小以输出-1，而在x的值不变的情况下只能减小w的值，这时通过在原来w后面添加(t-o)x=即可减小w的值（t-o<0, x>0）。
　　通过逐步调整w的值，最终感知器将会收敛到能够将所有训练集正确分类的程度，但前提条件是训练集线性可分。若训练集线性不可分，则上述过程不会收敛，将无限循环下去。

感知器的代码实现

class Perception(object):
    def _int_(self,input_num,activator):
        '''
        初始化感知器
        '''
        self.activator = activator;
        #权重向量初始化为0
        self.weights = [0.0 for _ in range(input_num]
        #偏置项初始化为0
        self.bias = 0.0
    
    def _str_(self):
        #打印学习到的权重、偏置项
        return 'weight\t:%s\nbias\t:%f\n' %(self.weight,self.bias)
    
    def prefict(self,input_vec):
        #输入向量，输出感知器计算结果
        # 把input_vec[x1,x2,x3...]和weights[w1,w2,w3,...]打包在一起
        # 变成[(x1,w1),(x2,w2),(x3,w3),...]
        # 然后利用map函数计算[x1*w1, x2*w2, x3*w3]
        # 最后利用reduce求和
        return self.activator(
            reduce(lambda: a,b:a+b,map(lambda x,w:x*w,zip(input_vec,self.weights)),0.0)+self.bias) 
            # 这里reduce中的0.0就是reduce计算结果的初始值，其他是在0基础上累加的
    def train(self,input_vec,labels,interation,rate):
        #输入训练数据：一组向量，与每个向量对应的label，以及训练轮数
        for i in range(iteration):
            self._one_interation(input_vec,labels,rate)
    def _one_interation(self,input_vec,labels,rate):
        #一次迭代把所有训练数据过一遍
        # 把输入和输出打包在一起，成为样本的列表[(input_vec, label), ...]
        # 而每个训练样本是(input_vec, label)
        samples = zip(input_vec,labels)
        #对每个样本按照感知器规则更新权重
        for (input_vec,label) in samles:
            #计算感知器当前权重下的输出
            out = self.predict(input_vec)
            #更新权重
            self._update_weights(input_vec,output,label,rate)
    def _update_wights(self,input_vec,output,label,rate):
        #按照感知器规则更新权重
        # 把input_vec[x1,x2,x3,...]和weights[w1,w2,w3,...]打包在一起
        # 变成[(x1,w1),(x2,w2),(x3,w3),...]
        # 然后利用感知器规则更新权重
        delta = label - output
        self.wights = map(
            lambda:(x,w):w+rate*delta*x,
            zip(input_vec,self.weights))
        #更新bias
        self.bias+=rate*delta