第一阶段笔记打卡

一、线性回归

1.优化函数--梯度下降

    对参数迭代优化->损失函数降低

2.矢量计算实例

c=torch.zeros()  //1000维的矢量

3.预测房价实例

--生成数据集

--生成标签  label=线性+随机生成偏差

--用图像显示生成数据

--取数据-》初始化模型参数-》定义模型-》定义损失函数-》定义优化参数-》训练数据

二、softmax--分类预测

1.softmax回归是单层神经网络

2.o1,o2,o3为权重矢量，结果取数值最大

3.直接output存在问题

4.softmax运算  不改变运算类别

5.交叉熵损失函数 cross entropy

6.softmax函数及回归模型

三、多层感知机

1.线性--通过激活函数--》非线性--》实现多层神经网络

2.常用激活函数sigmoid（）、ReLu函数

    ReLu：只能在隐藏层中使用；层数较多时适用[ReLu计算量少，简单]

sigmoid：用于分类器、层数少时适用[计算量大]；易出现梯度消失问题

四、过拟合、欠拟合

1.k折交差验证

原始数据集分割成k个不重合的子集-》做k次模型训练和验证

2.欠拟合：无法得到较低误差

   过拟合：误差远小于测试数据集上的误差

3.产生拟合问题的原因：模型复杂度、训练数据集大小

五、随机初始化  Xavier随机初始化

环境因素：协变量偏移、标签偏移、概念偏移

Kaggle房价预测实战