梯度下降的推导

假设房子的面积和价格的对应关系如下图所示，那么如何 面积和价格的关系呢？

假设 训练集如下：
面积 ： 150 ， 200 ， 250 ， 300， 350， 400， 600
价格 ： 6450，6450，8450，9450，11450，15450，18450

假设我们设定为线性：Y=θ0+θ1x

使用梯度下降的方法求解线性回归

梯度下降的原理：

image.png

也就是说使用梯度下降寻找代价函数的最小值的原理就是给J求关于θ0和θ1的偏导。

手写Y=θ0+θ1x，梯度下降的θ0，θ1的迭代过程。

image.png

实验

假设存在x=[1,2,3,4,5,6]，y=[4,7,10,13,16,19] (它们的关系是y=3x+1)，然后使用梯度下降求解线性回归。

x=[1,2,3,4,5,6]
y=[4,7,10,13,16,19]

#θ的参数设置，这个一般是随机取的
theta0=0.1
theta1=0.2

#α 是学习率，代表的是迭代的步长
alpha=0.01
m=len(x)

def h(i):
    return theta0+theta1*x[i]

def diff(i):
    return h(i)-y[i]

#times 表示迭代1000次，那么基本上可以下降到梯度的最小值了
#每次迭代做的事情，就是我上面手写的那个公式，不停的去修改theta0，theta1
for times in range(1000):
    sum1=0
    sum2=0
    for i in range(m):
        sum1=sum1+diff(i)
        sum2=sum2+diff(i)*x[i]
    theta0=theta0-(alpha/m)*sum1
    theta1=theta1-(alpha/m)*sum2


print ("theta0 : ",theta0)
print ("theta1 : ",theta1)

输出结果：

2017-06-01 09-18-49屏幕截图.png

后来想到，把每次迭代计算出来的theta0 ，theta1 画出来：

最后的结果是用*号的线表示出来的.png

源码：

import numpy as np
import matplotlib.pyplot as plt

x=[1,2,3,4,5,6]
y=[4,7,10,13,16,19]

test_x=[8,9,10,11,12]

#参数，这个是随机的
theta0=0.1
theta1=0.2

#学习率
alpha=0.01
m=len(x)

def h_(x):
    return theta0+theta1*x 

def h(i):
    return theta0+theta1*x[i]

def diff(i):
    return h(i)-y[i]

for times in range(1000):
    sum1=0
    sum2=0
    for i in range(m):
        sum1=sum1+diff(i)
        sum2=sum2+diff(i)*x[i]
    theta0=theta0-(alpha/m)*sum1
    theta1=theta1-(alpha/m)*sum2
    plt.plot(test_x,  [h_(xi)  for xi in test_x ])

plt.plot(test_x,  [h_(xi)  for xi in test_x ],'b*')
print ("theta0 : ",theta0)
print ("theta1 : ",theta1)
plt.show()

Part two

刚才的问题是Y=θ0+θ1x，当时问题也有可能是Y=theta0+theta1*x1+theta*x2 。这样的到的代价函数就是一个和θ0，θ1，θ2有关的函数了。问题可能会稍稍复杂一点。

代码：

import numpy as np
import matplotlib.pyplot as plt

#y=2 * (x1) + (x2) + 3 
x_train = np.array([    [1, 2],    [2, 1],    [2, 3],    [3, 5],    [1, 3],    [4, 2],    [7, 3],    [4, 5],    [11, 3],    [8, 7]    ])
y_train = np.array([7, 8, 10, 14, 8, 13, 20, 16, 28, 26])

x_test  = np.array([    [1, 4],    [2, 2],    [2, 5],    [5, 3],    [1, 5],    [4, 1]    ])
alpha = 0.001

theta0=np.random.normal()
theta1=np.random.normal()
theta2=np.random.normal()

m=len(x_train)

def h_(x):
    return theta0+theta1*x[0]+theta2*x[1]

def h(i):
    return theta0+theta1*x_train[i][0]+theta2*x_train[i][1]

def diff(i):
    return h(i)-y_train[i]


for times in range(10000):
    sum1=0
    sum2=0
    sum3=0
   
    for i in range(len(x_train)):
        sum1=sum1+diff(i)
        sum2=sum2+diff(i)*x_train[i][0]
        sum3=sum3+diff(i)*x_train[i][1]
    
    theta0=theta0-(alpha/m)*sum1
    theta1=theta1-(alpha/m)*sum2
    theta2=theta2-(alpha/m)*sum3
    
    """
    for i in range(len(x_train)):
        sum1=sum1+alpha*diff(i)
        sum2=sum2+alpha*diff(i)*x_train[i][0]
        sum3=sum3+alpha*diff(i)*x_train[i][1]

    theta0=theta0-sum1
    theta1=theta1-sum2
    theta2=theta2-sum3
    """

    #plt.plot([x_train],[h_(xi)  for xi in x_train ])
    plt.plot([h_(xi)  for xi in x_train ])
    #plt.plot([h_(xi)  for xi in x_train ])

print ("theta0 : ",theta0)
print ("theta1 : ",theta1)
print ("theta2 : ",theta2)
plt.show()

实验结果：

2017-06-01 19-39-52屏幕截图.png 2017-06-01 19-40-14屏幕截图.png