保留初心，砥砺前行
这里不仅记录一些在学习中查阅的有营养的资料，同时也记录了一点我对于该资源的看法，供同路的同学们享用。
资源都是零零碎碎的，没有完整的套路或者体系。但是每天除了正餐，有一些零食才会显得更加丰富多彩。所以，
一定会有某些内容帮助到你。
-
最小二乘法
这篇文章不仅仅把最小二乘法是什么说的一清二楚（这并不是我推荐这一篇的目的），而且把大部分同学从没有想过的、或者说从没有注意过的问题——为什么是最小二乘法（这才是重点），也分析的透彻。
阅读重点在第四部分——原理探究，和该章节的那个链接。 -
令人拍案叫绝的Wasserstein GAN
这篇文章对于不喜欢看论文的我来说实在是福音（其实是看不懂）。深入浅出、完整地解释了Wasserstein GAN论文中的内容，不仅包括原理，还有公式推导。并且公式推导容易理解，对于数学小白非常友好。 -
深度学习训练时GPU温度过高？几个命令，为你的GPU迅速降温。
炎炎夏日，虽然空调与风扇齐飞，但是我的位置仍然要比其他人高上好几度，一阵一阵的热浪从腿边的机箱里涌向全身。可能很多机器学习的同仁们在跑程序的时候都会有这样的体会，所以这篇文章，绝对有用。 -
训练神经网络时如何确定batch的大小？
这篇文章有些标题党了，内容一般吧。不过看看还是有一点好处。 -
只知道GAN你就OUT了——VAE背后的哲学思想及数学原理
只知道GAN你就OUT了，听到没，还不快来看看新东西。
这篇文章在我看来不算VAE入门，需要一些VAE的基础和一些数学功底，然后再多读几次，会对VAE的理解产生一次飞跃。
这篇文章和上边所讲的《令人拍案叫绝的Wasserstein GAN》一样，都是需要在对GAN和VAE的实践中不断地、一遍又一遍地阅读，然后会产生更深的理解。
- 解读Batch Normalization
-
深度学习中 Batch Normalization为什么效果好？
对于Batch Normalization来讲，这两篇就够了。
batch normalization就是“批规范化”。Google在ICML文中描述的非常清晰，即在每次SGD时，通过mini-batch来对相应的activation做规范化操作，使得结果（输出信号各个维度）的均值为0，方差为1.
在神经网络训练时遇到收敛速度很慢，或梯度爆炸等无法训练的状况时可以尝试BN来解决。另外，在一般使用情况下也可以加入BN来加快训练速度，提高模型精度。
-
在使用tensorflow的时候，有没有办法限制每个任务占用显存的大小？
跑起来一个模型，整个显存就被占满了，真是一个不方便的设定。但是这个是可以修改的。
不过为什么谷歌要做默认占满显存的设置呢？
-
《SeqGAN: Sequence Generative Adversarial Nets with Policy Gradient》论文笔记
seqGAN是将增强学习和GAN结合的第一个作品，很有意义。并且这种思想还可以继续挖下去。论文看着困难的话，就看这个吧~
-
GAN隐空间维数选择
很好玩的一篇文章，在跑GAN的时候有没有想过变换初始噪声的维度？还是一直在用默认的100？有没有想过这个维度可以代表什么，变大或变小对于训练结果会产生什么影响？
读完了这一篇可以试着写一下代码实现其中的公式，看看你的数据集所需的最小维度是多少。
如果你也喜欢机器学习，并且也像我一样在ML之路上努力，请关注我，我会进行不定期更新，总有一些可以帮到你。
网友评论