64.合理使用预训练网络-3

64.1 目标检测中如何从零开始训练(train from scratch)

• 目标检测和其他任务从零训练模型一样，只要拥有足够的数据以及充分而有效的训练，同样能训练出不亚于利用预训练模型的检测器。
  • 1、数据集不大时，同样需要进行数据集增强。
  • 2、预训练模型拥有更好的初始化，train from scratch需要更多的迭代次数以及时间训练和优化检测器。
    • 而二阶段模型由于并不是严格的端对端训练，此时可能需要更多的迭代次数以及时间，而一阶段检测模型训练会相对更容易些（例如DSOD以ScratchDet及）。
  • 3、目标检测中train from scratch最大的问题还是batch size过小。
    • 所以可采取的策略是增加GPU使用异步batchnorm增大batch size，若条件限制无法使用更多GPU时，可使用groupnorm代替batchnorm
  • 4、由于分类模型存在对多目标的捕捉能力弱以及对物体空间位置信息不敏感等问题，可借鉴DetNet训练一个专属于目标检测的模型网络，增强对多目标、尺度和位置拥有更强的适应性。

64.2 如何改善 GAN 的性能

• 优化GAN性能
  • 设计或选择更适合目的代价函数。
  • 添加额外的惩罚。
  • 避免判别器过度自信和生成器过度拟合。
  • 更好的优化模型的方法。
  • 添加标签明确优化目标。
• GAN常用训练技巧
  • 输入规范化到（-1，1）之间，最后一层的激活函数使用tanh（BEGAN除外）
  • 使用wassertein GAN的损失函数
  • 如果有标签数据的话，尽量使用标签，也有人提出使用反转标签效果很好，另外使用标签平滑，单边标签平滑或者双边标签平滑
  • 使用mini-batch norm， 如果不用batch norm 可以使用instance norm 或者weight norm
  • 避免使用RELU和pooling层，减少稀疏梯度的可能性，可以使用leakrelu激活函数
  • 优化器尽量选择ADAM，学习率不要设置太大，初始1e-4可以参考，另外可以随着训练进行不断缩小学习率，
  • 给D的网络层增加高斯噪声，相当于是一种正则

大数据视频推荐：
网易云课堂
CSDN
人工智能算法竞赛实战
AIops智能运维机器学习算法实战
ELK7 stack开发运维实战
PySpark机器学习从入门到精通
AIOps智能运维实战
腾讯课堂
大数据语音推荐：
ELK7 stack开发运维
企业级大数据技术应用
大数据机器学习案例之推荐系统
自然语言处理
大数据基础
人工智能：深度学习入门到精通