线性回归，加权回归

服了，简书又不支持latex公式了。
本文内容看博客：http://blog.csdn.net/longgb123/article/details/79079434。
下面是markdown格式的原文：

## 一、普通线性回归(OLS)
损失函数：
$$ J(w)=\frac{1}{n}\sum_{i=1}^{n} (y_{i}-w*x_{i})^{2}=\frac{1}{n}||Y-X*w||^{2} $$
其中：$Y$、$w$、$x_{i}$为向量，$X$为矩阵。对该损失函数求解如下，即为对$J(w)$函数求$w$的偏导：
$$\begin{aligned} 
J(w)=\frac{1}{n}||Y-X*w||^{2}&=\frac{1}{n}(Y-Xw)^{T}(Y-Xw)
\\&=\frac{1}{n}(Y^{T}-w^{T}X^{T})(Y-Xw)
\\&=\frac{1}{n}(Y^{T}Y-w^{T}X^{T}Y-Y^{T}Xw+w^{T}X^{T}Xw)
\end{aligned}$$
需要用到的矩阵求导公式为：
$$\frac{dBA}{dA}=B^{T}$$
$$\frac{dA^{T}B}{dA}=B$$
$$\frac{dA^{T}BA}{dA}=2BA$$
所以，$J(w)$对$w$求导得到：
$$\begin{aligned} 
\frac{dJ(w)}{dw}&=\frac{1}{dw}\left(\frac{1}{n}(Y^{T}Y-w^{T}X^{T}Y-Y^{T}Xw+w^{T}X^{T}Xw)\right)
\\&=\frac{1}{n}(0-X^{T}Y-X^{T}Y+2X^{T}Xw)
\\&=\frac{1}{n}(-2X^{T}Y+2X^{T}Xw)=0
\end{aligned}$$
当$X^{T}X$为可逆矩阵的时候，有解：
$$w=(X^{T}X)^{-1}X^{T}Y$$
因为：
$$Xw=X(X^{T}X)^{-1}X^{T}Y=\hat{Y}=\hat{H}Y$$
所以，帽子矩阵为：
$$\hat{H}=X(X^{T}X)^{-1}X^{T}$$

## 二、加权回归
损失函数：
$$J(w)=\frac{1}{n}\sum_{i=1}^{n}\alpha_{i}(y_{i}-w*x_{i})^{2}=\frac{1}{n}\alpha||Y-X*w||^{2}$$
同理推导：
$$\begin{aligned} 
J(w)=\frac{1}{n}\alpha||Y-X*w||^{2}&=\frac{1}{n}(Y-Xw)^{T}\alpha(Y-Xw)
\\&=\frac{1}{n}(Y^{T}-w^{T}X^{T})\alpha(Y-Xw)
\\&=\frac{1}{n}(Y^{T}\alpha Y-w^{T}X^{T}\alpha Y-Y^{T}\alpha Xw+w^{T}X^{T}\alpha Xw)
\end{aligned}$$
其中，$\alpha$为是权重的对角矩阵。对$w$求导得到：
$$\begin{aligned} 
\frac{dJ(w)}{dw}&=\frac{1}{dw}\left(\frac{1}{n}(Y^{T}\alpha Y-w^{T}X^{T}\alpha Y-Y^{T}\alpha Xw+w^{T}X^{T}\alpha Xw)\right)
\\&=\frac{1}{n}(0-X^{T}\alpha Y-X^{T}\alpha Y+2X^{T}\alpha Xw)
\\&=\frac{1}{n}(-2X^{T}\alpha Y+2X^{T}\alpha Xw)=0
\end{aligned}$$
所以，得到：
$$w=(X^{T}\alpha X)^{-1}X^{T}\alpha Y$$
加权的帽子矩阵为：
$$\hat{H}=X(X^{T}\alpha X)^{-1}X^{T}\alpha$$