昨天的第二章后半部分涉及到了较多的概率论知识，需要补课

基本形式

线性模型是什么，简单来说和我们学过的线性函数是一样的，我们学过的线性函数形式一般为:y = ax + b,在这里a，b代表系数，也就是我们模型要学习的东西，代表的是属性，也就是我们的特征，用西瓜书中的一个例子讲解就是如下图：

线性模型举例

其中0.2,0.5,0.3还有1 都是属于线性模型通过训练数据学到的系数，而其中的色泽，根蒂，敲声属于一个样本的各个特征，我们在本章中先从回归讲起，然后讨论二分类再讨论多分类问题。

线性回归问题

首先我们考虑最简单的问题，也就是只有一个属性的情况，我们在学习的时候会发现，有时候属性属于非数值型，就是说这是我们模型是不认识的，比如一个特征叫做“身高”有三个选项：“高，低，中”，模型是不认识这些汉字的，我们应该把他们转换成数字，转换过程中涉及到一个问题，就是数据是否是有大小概念的，比如“高”你应该转换成1.0那“中”就不能大于1.0的，如果没有大小概念，只有种类概念，那可以直接转换成one-hot数据类型，至于转换方法可以使用pandas中的方法，也可以使用sklearn库中的方法。

线性模型

我们怎么来求解最优解w,b呢？这时候需要用到均方误差了，也就是我们常说的”欧式距离“，我们可以通过让均方误差最小化来求解需要的w,b

求解w,b

接下来让上述式子分别对w,b进行求导，然后求导式子为0来解的w,b

求导式

当我们的问题中存在的不止一个特征，我们称之为多元线性回归，形式与上述过程类似。
我把w,b吸入向量模式表示，然后把数据集D表示为一个m*(d+1)的大小矩阵，前d行对应d个属性，最后一行元素置为1

矩阵表示

关于多元回归证明过程有机会再给出。
下面说一下线性模型的变种，有时候我们的y和x之间不是线性变化，比如说y是跟随x呈现指数变化，这就导致了一个问题，y=wx+b不能再表示他们之间的关系，那么这时候应该通过一个“联系函数”，如上面我们举出来的例子，如果y和wx+b之间不再是线性而是指数变换，这是我们可以对y进行取对数操作

对数线性回归
这个取对的操作就相当于在原先的等式之间又加上了一个函数，这个函数我们就叫作联系函数，而我们把上面的式子叫做对数线性回归。
我们再回味一下为什么这么做呢？因为y和x之间不再具有某种线性关系，取而代之的是一种指数关系，那我们怎么将这种指数关系表示出来呢？将y进行取对操作，这样lny又一次和w*x+b呈现一种线性关系，这已经实际上是一种空间映射。

对数几率回归(logistic regression)

这里的对数几率回归是我们经常见到的一种算法：logistic回归，虽然它叫做回归算法但是，实际上它是一种分类算法。
上一节说的是如何使用线性模型进行回归学习，但是如何利用线性模型进行分类算法呢？这时候就需要我们的联系函数，只要能找到一个函数可以将预测值与真实标签联系起来就可以。
考虑二分类任务，其输出标记y是[0，1]之中的一个，但是线性模型w*x+b预测出来是一个实际的值，我们应该把值转换成0/1
这时候西瓜书给出一个函数叫做“对数几率函数”函数，他的图像长这个样子

对数几率函数图像

对数几率函数与对数函数是不同的，它是一种"Sigmod"函数，也就是一种S函数，几率是什么意思呢？假设为正例的概率是y那么y/1-y就表示几率。

我们要时刻记住这个函数为什么出现在这里，他是为了将我们的输出转换成类别的函数，这个对数几率函数将作为我们的联系函数

对数几率函数

我们将上一节讲的线性函数代入到对数几率函数中得到如下所示

进行变换之后我们将含w以及b的放在等式的一边，其余的放在另一边，如下图所示

由此可以看出，我们是在用线性回归模型的预测结果去逼近真实标记的对数几率，其中对数几率表示的是x做为正例的可能性