1.单变量线性回归
一个例子：当需要预测房价，我们要使用一个数据集，数据集包含俄勒冈州波特兰市的住房价格。在这个数据集中我们假设price只和size这一个特征相关时，这是个监督学习，因为我们的每条数据对于size都有一个“正确答案”。那么让我们预测一个给定size的房子的房价是多少的问题就是一个回归问题。
我们将要用来描述这个回归问题的标记如下:
𝑚 代表训练集中实例的数量
𝑥 代表特征/输入变量
𝑦 代表目标变量/输出变量
(𝑥,𝑦) 代表训练集中的实例
(𝑥(𝑖),𝑦(𝑖)) 代表第𝑖 个观察实例
h 代表学习算法的解决方案或函数也称为假设(hypothesis)
其中h的一种表达的可能为，注意，这里只有一个特征/输入变量，所以称为单变量线性回归问题。
当有m个样本时，
线性回归函数写成：,其中i=1,2,3,...,m 表示数据集样本的个数。
参数：
代价函数（目标函数）：，i=1,2,3,...,m
代价函数选择了误差平方和，误差平方和是大多数问题特别是回归问题的一个合理选择。
目标：
下图为的三维等高图：
可以看出存在一个全局最小值
平面图，
的等高图，如下：
2.梯度下降
梯度下降是用来求函数最小值的常用算法，
网友评论