Python编写线性回归算法
前言
线性回归（Linear Regression）是机器学习的基础，作为机器学习算法的基石，后人在此基础之上演化了各种更为精确、有效的算法。
1 线性回归的基本原理
线性回归是要用一组特征的线性组合，来拟合目标值。假设函数（hypothesis function）表达如下所示：
x为m×n的特征矩阵，θ为特征参数矩阵，线性回归学习的目标是得到一组拟合的θ向量值。
以下采用比较基础的最小二乘法、梯度下降法求取θ向量值。数据量较小的时候使用最小二乘法
a.最小二乘法
为了求上式的最优解，线性回归需要建立观测结果y与预测结果y’的差别为目标函数J(θ):
令J(θ)等于某个最小值δ，则
对参数θ求导，得：
b. 梯度下降法
定义一个简单的代价函数：
表示第i个数据的因变量（特征），
表示第i个数据的自变量（观察结果）。
更新参数θ：
由于θ每次更新都会用到全部数据，因此这种方法叫做（批量）梯度下降法。相比较随机梯度下降法（SGD），这种方法更容易局部最优。另外，在使用梯度下降法时要注意对自变量（特征）进行归一化。例如年龄和身高显然不在同一尺度上，若没有归一化采用同一学习率，效果会很差。
2 代码实现
代码地址：https://github.com/HZNU1/Writing-machine-learning-algorithms-in-python
仅将算法部分展示：
a. 最小二乘法
import numpy as np
class LinearRegression_1:
def __init__(self,x,y):
self.x = np.mat(x)
self.y = np.mat(y)
def regression(self):
#添加系数θ0，并且赋予它的参数为1
theta0 = np.ones((len(data), 1))
self.x = np.hstack((self.x, theta0))
x_T =self.x.T #计算X矩阵的转置矩阵
self.theta = (x_T * self.x).I * x_T * self.y.T #由最小二乘法计算得出的参数向量
def predict(self, vec):
vec =np.mat(vec)
vec0= np.ones((len(vec), 1))
vec = np.hstack((vec, vec0))
estimate = np.matmul(vec, self.theta) #点乘
return estimate
b. 梯度下降法
import numpy as np
class LinearRegression_2:
def __init__(self):
self._theta = None
#自变量x,因变量y,学习率learning_rate（默认0.0001），迭代次数（默认10000次）
def fit_gd(self, x, y, learning_rate=0.0001,n_iters=1e4):
#代价函数
def J(theta, X, y):
try:
return np.sum((y -X.dot(theta)) ** 2) / (2*len(y))
except:
return float('inf')
#代价函数的偏导数
def dJ(theta, X, y):
return X.T.dot(X.dot(theta) -y) / len(y)
#梯度下降
def gradient_descent(X, y, initial_theta,learning_rate, n_iters=1e4, epsilon=1e-8):
theta = initial_theta
cur_iter = 0
#遍历
while cur_iter < n_iters:
gradient = dJ(theta, X, y)
last_theta = theta
theta = theta -learning_rate * gradient
#收敛条件 本次迭代与上一次迭代之差小于epsilon=1e-8
if (abs(J(theta, X, y) -J(last_theta, X, y)) < epsilon):
break
cur_iter += 1
return theta
#添加系数θ0，并且赋予它的参数为1
X = np.hstack([np.ones((len(x), 1)),x])
#初始theta值为全为0的1×n数组
initial_theta = np.zeros(X.shape[1])
self._theta = gradient_descent(X,y, initial_theta, learning_rate, n_iters)
return self
def predict(self, X_predict):
X = np.hstack([np.ones((len(X_predict),1)), X_predict])
return X.dot(self._theta)
参考资料：
1. https://zhuanlan.zhihu.com/p/22474562
2. 周志华《机器学习》
网友评论