3层网络，隐藏层全连接，顶部Softmax
3层全链接网络加入了学习率衰减，效果依然不好。
max_lr = 0.003
min_lr = 0.0001
decay_speed = 2000.0
learning_rate = min_lr + (max_lr - min_lr)*math.exp(-i/decay_speed)
Train Accuracy: 1.0， Test Accuracy: 0.665
严重过拟合？
加入dropout，training pkeep=0.75 , testing pkeep=1.0.出来的是啥呀！
Train Accuracy: 1.0， Test Accuracy: 0.665
pkeep=0.55 有变化了
Train Accuracy: 1.0, Test Accuracy: 0.755
过拟合依然严重
减少网络节点数目。
K = 500 → 400 #hindden1的神经元
L = 100 → 50 #隐藏层2的神经元
pkeep:0.55
测试准确率稍微提高了一点，但训练准确度下降。而且，损失曲线仍不对，过拟合。
Train Accuracy: 0.9975， Test Accuracy: 0.77
2层全连接网络：更差
去掉一隐藏层，K = 400
pkeep:0.75
Train Accuracy: 1.0， Test Accuracy: 0.62
4层全连接网络
K = 400 #hindden1的神经元
L = 50 #隐藏层2的神经元
M = 10 #隐藏层3
max_lr = 0.003
min_lr = 0.0001
pkeep:0.75
Train Accuracy: 0.98625， Test Accuracy: 0.705
网友评论