基本思路

---

大体的思路是试图训练一个线性的模型，通过样本的属性值来预测一个目标值。根据单一样本属性值的数目，分为单变量和多变量的线性回归问题。

假设函数:

---

Hypothesis

优化目标

---

线性模型最关键的就是确定线性系数w以及截距b，这些参数确定了，模型也就定下来了。单变量线性回归较简单，这里主要以多变量线性回归为主。大多数情况下，线性回归的优化目标都是最小化均方误差函数，即：

CostFunction

其中，w*是将参数b吸收到w中，size为(d+1)*1，X size是(m*(d+1))。[m为样本数，d是单样本属性数]

矩阵X
为了使得代价函数最小化，对参数w*求导得到：

令上式等于0，就可以求出w*。
1.当X'X为满秩矩阵或正定矩阵时：

solution
2.不是满秩。存在许多解，由学习算法的归纳偏好决定，常见做法引入正则化。

线性回归是用线性模型拟合数据，用生成的模型去预测真实值y。我们也可以用线性模型去预测逼近y的衍生值，令g(.)为单调可微函数：

这样得到的称为广义线性模型，函数g称为联系函数，实际上实现了输入空间到输出空间的非线性映射。

对数线性回归

令g(.)=log(.)即可获得对数线性回归模型。

对数几率回归

---

前面说的都是针对回归问题，如果面对一个分类问题，该如何构造假设函数？这儿利用广义线性回归模型，令g(.)的反函数为对数几率函数（Sigmoid函数）。

Sigmoid

将线性模型带入上面Sigmoid函数，可得：

Hypothesis
变换上式可得：

如果将y看作二分类问题的正例可能性，1-y即是反例可能性，两者比值称为“几率”，反应了样本作为正例的相对可能性，对“几率”取对数即得到”对数几率“。因此其对应的模型称为对数几率回归模型，这儿虽然说是回归，实际上是分类问题。

在这儿如何确定参数w/b，即优化目标什么？利用最大似然法，即利用最大化样本出现的概率来确定参数。

代价函数推导

Softmax回归

Softmax回归