两天前参加了伯禹学习平台、上海交通大学大佬们联合打造的线上《动手学深度学习》学习课程，昨天参加开模式直播，得知有2000+人加入了这次学习，每天看学习内容下满满的Fork记录，还真感觉学习路上并不孤单，学海无涯啊。好了，进入正题：
一、线性回归主要内容包括：
（附学习平台网址：https://www.boyuai.com/elites/course/cZu18YmweLv10OeV/jupyter/FUT2TsxGNn4g4JY1ayb1W）
1.线性回归的基本要素
2.线性回归模型从零开始的实现
3.线性回归模型使用pytorch的简洁实现
For1.基本要素的学习，就不过多阐述了，每次打开书开始学习的时候，第一章的内容肯定是熟悉的，类似于记单词“abandon”。
For2.线性回归模型从零开始的实现：我在自己电脑上用spyder跑了一遍。难度小，也更便于对整个过程的理解。
线性回归模型从零开始的实现
For3.线性回归模型使用pytorch的简洁实现: 我在自己电脑上用spyder跑了一遍,出现了“RuntimeError: DataLoader worker (pid(s) 24244, 24508) exited unexpectedly”报错，解决方法备注在了源码后面，最后成功运行。
线性回归模型使用pytorch的简洁实现
两种实现方式的比较
1.从零开始的实现（推荐用来学习）
能够更好的理解模型和神经网络底层的原理
2.使用pytorch的简洁实现
能够更加快速地完成模型的设计与实现
二、softmax和分类模型
（附学习平台网址：https://www.boyuai.com/elites/course/cZu18YmweLv10OeV/jupyter/sgHW6P_Qf9EfSEMnIfBJx）
1.softmax回归的基本概念
2.如何获取Fashion-MNIST数据集和读取数据
3.softmax回归模型的从零开始实现，实现一个对Fashion-MNIST训练集中的图像数据进行分类的模型
4.使用pytorch简洁实现softmax回归模型
For1.softmax回归的基本概念:
softmax回归是一个单层神经网络
softmax运算符通过下式将输出值变换成值为正且和为1的概率分布：
softmax回归对样本i分类的矢量计算表达式为:
也可用小批量矢量计算
For2.获取Fashion-MNIST训练集和读取数据: 这里使用torchvision包，它是服务于PyTorch深度学习框架的，主要用来构建计算机视觉模型。torchvision主要由以下几部分构成：
(1) torchvision.datasets: 一些加载数据的函数及常用的数据集接口；
(2) torchvision.models: 包含常用的模型结构（含预训练模型），例如AlexNet、VGG、ResNet等；
(3) torchvision.transforms: 常用的图片变换，例如裁剪、旋转等；
(4) torchvision.utils: 其他的一些有用的方法。
Q: torchvision我并没有在anaconda navigator里找到安装.据说安装torchvision要和自己电脑cuda匹配。戳这里也许可以解决https://blog.csdn.net/qq_35373209/article/details/89428883。
For3.softmax从零开始的实现:
For4 对比pytorch简洁实现
三、多层感知机
学习了几个激活函数以及其导数（梯度）：ReLU函数、Sigmoid函数、tanh函数。
其中，关于激活函数的选择：
（1）ReLu函数是一个通用的激活函数，目前在大多数情况下使用。但是，ReLU函数只能在隐藏层中使用。
（2）用于分类器时，sigmoid函数及其组合通常效果更好。由于梯度消失问题，有时要避免使用sigmoid和tanh函数。
（3）在神经网络层数较多的时候，最好使用ReLu函数，ReLu函数比较简单计算量少，而sigmoid和tanh函数计算量大很多。
（4）在选择激活函数的时候可以先选用ReLu函数如果效果不理想可以尝试其他激活函数。
四、因为本人对文本识别、语言处理实在没有兴趣，所以相关内容就打酱油了。这里连接还是附上：
https://www.boyuai.com/elites/course/cZu18YmweLv10OeV/jupyter/UMWZaZZQHRm8vhvwVKagt
https://www.boyuai.com/elites/course/cZu18YmweLv10OeV/jupyter/74GLt4f6G9GgtnuK_Y7SJ
本次学习收获也有，但不是特别多，比较期待今后的课程，到时候会继续更（三天一更），哈哈哈，希望有所长进！
网友评论