Logistic回归

机器学习实战

假设现在有一些数据点，我们用一条直线对这些点进行拟合(该线称为最佳拟合直线)，这个拟合过程就称作回归。Logistic回归进行分类的主要思想是：根据现有数据对分类边界线监理回归公式，以此进行分类。

基于Logistic回归和Sigmoid函数

我们想要的函数应该是，能够接受所有的输入然后预测出类别。例如，在两个类的情况下，上述函数输出0和1。从0瞬间跳跃到1，这个跳跃的过程不好处理，我们引入Sigmoid函数。

001QAImHgy6I1ok9Brb61&690.jpg
此函数当x = 0时，Sigmoid函数值为0.5，随着x的增大，对应的Sigmoid值将逼近1；而随着x的减小，Sigmoid逼近于0。
因此为了实现Logistic回归分类器，我们可以在每个特征上都乘以一个回归系数，然后把所有的结果值相加，将这个总和代入Sigmoid函数中，进而得到一个范围在0-1之间的数值。 任何>0.5的数据被分入1类，<0.5的被归为0类。

基于最优化方法的最佳回归系数的确定

Sigmoid的函数输入记为z，由下面公式得出：
用向量表示为，表示将这两个数值对应元素相乘然后全部加起来得到z值。其中x是分类器的输入数据，向量w就是我们要找的最佳参数，从而使分类器尽可能精确。

接下来就是寻找最佳参数
梯度上升法 基于的思想是：要找到某个函数的最大值，最好的方法是沿着该函数的梯度方向探寻。如果梯度记为，这函数f(x,y)的梯度有下式表示：

imgres [1].jpg

如果所示梯度上升算法沿梯度方向移动一步。可以看到，梯度算子总是指向函数值增长最快的方向。移动量的大小称为步长，记作。用向量来表示的话，梯度算法的迭代公司如下：
；该公式将一直迭代执行，直至达到某个停止条件为止，比如迭代次数达到某个指定值或算法达到某个可以允许的误差范围。

from math import *
from numpy import *
import matplotlib.pyplot as plt
#加载数据
def loadDataSet():
    dataMat = [];labelMat = []
    fr = open('testSet.txt')
    for line in fr.readlines():
        lineArr = line.strip().split()
        dataMat.append([1.0,float(lineArr[0]),float(lineArr[1])])
        labelMat.append(int(lineArr[2]))
    return dataMat,labelMat

def sigmoid(inX):
    return 1.0/(1+exp(-inX))

'''
dataMatIn 是一个二维NumPy数组 每列代表不同的特征 每行代表一个训练样本
classLabels  代表的是 样本的类别
'''
def gradAscent(dataMatIn,classLabels):
    dataMatrix = mat(dataMatIn)
    # 转换NumPy数据类型
    labelMat = mat(classLabels).transpose()
    m,n = shape(dataMatrix)
    #向目标移动的步长
    alpha = 0.001
    #迭代次数
    maxCycles = 500
    weights = ones((n,1))
    for k in range(maxCycles):
        h = sigmoid(dataMatrix*weights) #是一个列向量
        error = (labelMat - h)   #误差  与真实值
        weights = weights+alpha*dataMatrix.transpose()*error #调整
    return weights

'''
绘图 方便的API 步骤一样 设置参数众多
'''
def plitBestFit(weights):
    dataMat,labelMat = loadDataSet()
    dataArr = array(dataMat)
    n = shape(dataArr)[0]
    xcord1 = [];ycord1 = []
    xcord2 = [];ycord2 = []
    for i in range(n):
        if int(labelMat[i]) == 1:
            xcord1.append(dataArr[i,1]);ycord1.append(dataArr[i,2])
        else:
            xcord2.append(dataArr[i, 1]);ycord2.append(dataArr[i, 2])
    fig = plt.figure()
    ax = fig.add_subplot(111)
    ax.scatter(xcord1,ycord1,s=30,c='red',marker='s')
    ax.scatter(xcord2,ycord2,s=30, c='green')
    x = arange(-3.0,3.0,0.1)
    y = (-weights[0] - weights[1]*x)/weights[2]  #0 = w0x0+w1x1 计算x0的值
    ax.plot(x,y)
    plt.xlabel('X1')
    plt.ylabel('X2')
    plt.show()
if __name__ =='__main__':
    dataArr,labelMat = loadDataSet()
    # print(dataArr)
    # print(labelMat)
    weights = gradAscent(dataArr,labelMat)
    # print(weights)
   plitBestFit(weights.getA())

图一

随机梯度上升算法

梯度上升每次更新回归系数时都需要遍历整个数据集，该方法处理100个左右的数据集是尚可，但是如果数据量巨大，特征比较多，则该方法就不行。一种改进的方法就是一次仅用一个样本点来更新回归系数，该方法称为随机梯度算法。

def stocGradAscent0(dataMatrix,classLabels):
    m,n = shape(dataMatrix)
    print(m,n)
    alpha = 0.01
    weights = ones(n)
    for i in range(m):
        h = sigmoid(sum(dataMatrix[i]*weights)) #每一个样本计算一次
        error = classLabels[i] - h
        weights = weights+alpha*error*dataMatrix[i]
    return weights
if __name__ =='__main__':
    dataArr,labelMat = loadDataSet()
    # print(array(dataArr))
    # print(labelMat)
    weights = stocGradAscent0(array(dataArr),labelMat)
    # # print(weights)
    plitBestFit(weights)

图二

可以看出最佳拟合直线并不是最佳分类线。

改进

'''
 默认迭代150次，也可以自由设定迭代次数
 1 每次迭代调整步长
 2随机选取样本来更新回归系数。每次用列表中随机取出一个值，然后删除
'''
def stocGradAscent1(dataMatrix,classLabels,numIter = 150):
    m,n = shape(dataMatrix)
    weights = ones(n)
    for j in range(numIter):
        dataIndex = list(range(m))
        for i in range(m):
            alpha = 4/(1.0+j+i)+0.0001   #1
            randIndex = int(random.uniform(0,len(dataIndex))) #2
            h = sigmoid(sum(dataMatrix[randIndex] * weights))
            error = classLabels[randIndex] - h
            weights = weights + alpha * error * dataMatrix[randIndex]
            del(dataIndex[randIndex])
    return weights

图三