一、线性回归
1.优化函数--梯度下降
对参数迭代优化->损失函数降低
2.矢量计算实例
c=torch.zeros() //1000维的矢量
3.预测房价实例
--生成数据集
--生成标签 label=线性+随机生成偏差
--用图像显示生成数据
--取数据-》初始化模型参数-》定义模型-》定义损失函数-》定义优化参数-》训练数据
二、softmax--分类预测
1.softmax回归是单层神经网络
2.o1,o2,o3为权重矢量，结果取数值最大
3.直接output存在问题
4.softmax运算 不改变运算类别
5.交叉熵损失函数 cross entropy
6.softmax函数及回归模型
三、多层感知机
1.线性--通过激活函数--》非线性--》实现多层神经网络
2.常用激活函数sigmoid（）、ReLu函数
ReLu：只能在隐藏层中使用；层数较多时适用[ReLu计算量少，简单]
sigmoid：用于分类器、层数少时适用[计算量大]；易出现梯度消失问题
四、过拟合、欠拟合
1.k折交差验证
原始数据集分割成k个不重合的子集-》做k次模型训练和验证
2.欠拟合：无法得到较低误差
过拟合：误差远小于测试数据集上的误差
3.产生拟合问题的原因：模型复杂度、训练数据集大小
五、随机初始化 Xavier随机初始化
环境因素：协变量偏移、标签偏移、概念偏移
Kaggle房价预测实战
网友评论