1. L1 Loss: 令,忽略求和及系数,则有,其导数为随机梯度下降法更新权重为:其中是学习率。由此可知,不管预...[作者空间]
做项目时涉及到图像风格迁移的东西,于是补了一下,用本篇博客记录之,并附上pytorch代码,以备不时之需。 所谓风...[作者空间]
Label smoothing是机器学习中的一种正则化方法,其全称是 Label Smoothing Regula...[作者空间]
正则化方法是机器学习中用于防止过拟合的方法,L1和L2则分别指L1-范数和L2-范数,下面先介绍一下范数: 1. ...[作者空间]
普通卷积: 参数量 运算量,这里只考虑浮点乘数量,不考虑浮点加。 group convolution (分组卷积)...[作者空间]
激活函数用于神经网络的线性加权操作或池化操作之后,通过加入非线性因素来提高神经网络的表达能力。本专题用于整理和总结...[作者空间]
批归一化是现在越来越多的神经网络采用的方法,其具有加快训练速度、防止过拟合等优点,尤其在深度神经网络中效果非常好。...[作者空间]
本文是对卷积神经网络模型参数量和浮点运算量的计算推导公式和方法,使用API自动计算这些数据请移步另一篇博客:自动计...[作者空间]