ML训练营笔记3

作者: 皮皮大 | 来源:发表于2019-11-28 19:29 被阅读0次

$f:X \rightarrow Y$

$\begin{align} h_{\theta}(x) & =\theta_0+\theta_1x_1+\theta_2x_2 \\ & = \sum^T_{i=0} \theta_ix_i \\ & = \theta^Tx \end{align}$

线性回归中的损失函数使用的是平方损失函数，其表达式

$J(\theta_0,\theta_1,...,\theta_n)=\frac{1}{2m}\sum^m_{i=1}(h_{\theta}(x^{(i)})-y^{(i)})^2$

目标：使得损失最小化

原始形式：

$\theta_j:=\theta_j-\alpha \frac {\partial J(\theta_0,\theta_1,...,\theta_n)}{\partial \theta_j}$

将代价函数 $J$ 带进去：

$\theta_j:=\theta_j-\frac{1}{2m} \alpha \frac {\partial \sum^m_{i=1}(h_{\theta}(x^{(i)})-y^{(i)})^2}{\partial \theta_j}$

求导数之后：

$\theta_j:=\theta_j-\frac{1}{m} \alpha \sum^m_{i=1}((h_{\theta}(x^{(i)})-y^{(i)})\cdot x_j^{(i)}$

当 $n \geq 1$ 时：

$\theta_0:=\theta_0-\frac{1}{m} \alpha \sum^m_{i=1}((h_{\theta}(x^{(i)})-y^{(i)})\cdot x_0^{(i)}$

$\theta_1:=\theta_1-\frac{1}{m} \alpha \sum^m_{i=1}((h_{\theta}(x^{(i)})-y^{(i)})\cdot x_1^{(i)}$

$\theta_2:=\theta_2-\frac{1}{m} \alpha \sum^m_{i=1}((h_{\theta}(x^{(i)})-y^{(i)})\cdot x_2^{(i)}$

模型特征多，模型比较复杂，对原始数据拟合的很好，但是对新的数据预测效果差。

MzINad.png

正则化技术主要是为了解决过拟合的问题。过拟合指的是：对现有的样本数据具有很好的判断能力，但是对新的数据预测能力很差。

对于过拟合的处理：

$J(\theta)=\frac{1}{2m}\sum^m_{i=1}(h_{\theta}(x^{(i)})-y^{(i)})^2+\lambda \sum^n_{j=1}\theta^2_{j}$

Attention：一般地，不对进行惩罚；加上正则化参数实际上是对参数进行惩罚。

对离散值进行分类，激活函数是 $sigmoid(x)=\frac{1}{1+e^{-x}}$ ，也称之为压缩函数

$h_\theta(x)=g(z)= \frac{1}{1+e^{-\theta^TX}}$

$Cost(h_\theta(x), y) = \begin{cases} -\log(h_\theta(x)), & \text{y=1} \\ -\log(1-h_\theta(x)), & \text{y=0} \\ \end{cases}$

加入正则项：

$J(\theta)=\frac{1}{m}\sum^m_{i=1}[-y^{(i)}\log(h_\theta(x^{(i)}))-(1-y^{(i)})\log(1-h_\theta(x^{i}))]+\frac{\lambda}{2m}\sum^n_{j=1}\theta^2_j$

ML训练营笔记3
线性回归属于有监督学习模型输出的结果是连续变量值需要学习映射假设输入和输出之间存在线性关系在预测阶段...
ML 3
转载自链接：http://blog.csdn.net/xinzhangyanxiang/article/detai...
65 5.1记录拉两次
吸奶 3:00 130ml 8:30 75ml 11:30 80ml 14:30 90ml 16:55 40ml ...
61 4.27记录
吸奶 3:00 90ml 10:34 140ml 15:30 120ml 17:58 80ml 喂奶 11:20 ...
ML: KNN笔记
使用Jupyter notebook 读取txt数据，最后一列为标签 data[1:10]np.unique(la...
ML学习笔记
思维导图 AHTA题目 -> to finish Suppose you perform 10,000 stati...
苹果 ML Frameworks 简介
Outline 1.背景 2.ML Framework 3.Core ML 4.Vision Framework ...
2月雪花秀优惠套盒（一）
1.雪花秀臻雪洗面奶容量：120ml 参考价格：￥395元赠送：臻雪眼精华3ml,臻雪眼霜3ml 产品简介...
机器学习笔记
精品笔记 ML AI 斯坦福机器学习笔记 GTD 数据预处理数据预处理预处理终版.
好好学几道菜谱在家享受美食！
米酒芝麻鸡食材：鸡胸肉500g、鸡蛋一个红烧酱油30ml、醋15ml、米酒30ml、香油3ml 蒜末、淀粉、五...