记录一下，慢慢更新...
一、数据方面
1. 一定要做标准化！！！不然NN根本不工作
2、高维离散特征embedding是有效的
二、模型方面
1、可以加入BN层，但感觉提升不明显
2、初始化方法
三、调参方面
主要是DNN，目前主要调整的超参数：
1. 学习率 learning rate：开始是0.001，增大到0.01，auc反而更高了
2. drop out：设置的0.9，比没用drop out 还是有提升的
3. batch size：
4. 优化算法：一开始用的Adam
5.
记录一下，慢慢更新...
一、数据方面
1. 一定要做标准化！！！不然NN根本不工作
2、高维离散特征embedding是有效的
二、模型方面
1、可以加入BN层，但感觉提升不明显
2、初始化方法
三、调参方面
主要是DNN，目前主要调整的超参数：
1. 学习率 learning rate：开始是0.001，增大到0.01，auc反而更高了
2. drop out：设置的0.9，比没用drop out 还是有提升的
3. batch size：
4. 优化算法：一开始用的Adam
5.
记录一下，慢慢更新... 一、数据方面 1. 一定要做标准化！！！不然NN根本不工作 2、高维离散特征embedd...
在进行神经网络训练过程中由于一些因素导致训练无法进行，需要保存当前的训练结果下次接着训练全连接反向传播神经网络中，...
神经网络训练细节系列笔记： 神经网络训练细节（激活函数） 神经网络训练细节（数据预处理、权重初始化） 神经网络训练...
Stochastic Gradient Descent 如何训练神经网络 训练神经网络就是调整权重。 这里介绍了损...
三元损失函数是一种可以很好训练神经网络的方法，但是除此之外，还有一些其他的方法可以训练神经网络的参数，比如说我们也...
张量操作 神经网络 训练图片分类器 多GPU训练 参考 张量神经网络训练图片分类器DataParallel多GPU示例
PART I 神经网络模型 模拟数据 查看模拟数据 神经网络模型训练 可视化训练结果 神经网络模型结果评估 平均准...
5.训练神经网络的通用算法 前面讨论了一些神经网络的特定tricks， 这些小技巧需要结合最优化方法，如SGD。通...
补发一段对于迁移网络的学习笔记。手动训练一些层数较深的神经网络会花费大量的时间。我们可以利用一些常见的神经网络模型...
我们都知道CNN常用于图像处理，也可以用一般神经网络去训练，为什么使用卷积神经网络训练呢？我们训练一个一般神经网络...
本文标题：神经网络一些训练心得
本文链接：https://www.haomeiwen.com/subject/wusrpxtx.html
网友评论