姓名：卓振国 学号：16040510011
转载自http://www.jianshu.com/p/b39acf25071f
【嵌牛导读】：Facebook今年夏天宣布了其在神经网络训练上的新突破。 其研究人员能够在一个小时内利用256个GPU完全训练好图像处理AI。 随后，有一群不甘示弱的大学研究人员利用1600个Skylake处理器在32分钟内完成训练。 一个星期后，一个日本团队在15分钟内就完成了训练。 显然，业界已经展开了激烈的AI竞赛。
【嵌牛鼻子】：ImageNet，Resnet50模型
【嵌牛提问】：对神经网络的训练是否能更快？
【嵌牛正文】;Facebook今年夏天宣布了其在神经网络训练上的新突破。 其研究人员能够在一个小时内利用256个GPU完全训练好图像处理AI。 随后，有一群不甘示弱的大学研究人员利用1600个Skylake处理器在32分钟内完成训练。 一个星期后，一个日本团队在15分钟内就完成了训练。 显然，业界已经展开了激烈的AI竞赛。
基本上，训练一个神经网络的过程就是把尽可能多的数据以最快速度塞进一台计算机，让计算机对某个事物产生基本了解。
ImageNet是计算机将图像与单词相关联的一种方式，它允许计算机“查看”图像并告诉我们它看到的是什么。如果你想要创建一个AI来查找包含“蓝色衬衫”或“爸爸的微笑”的图像，ImageNet是非常有用的。
目前，这类图像处理的基准是一个名为Resnet50的50层神经网络。用该网络在一台非常快的计算机上训练一个深度学习系统，大概需要两个星期。
为了减少训练时间，研究人员将处理器连接在一起，利用它们的综合能力。虽然这并不等同于时间的指数级减少——两台计算机并不会将训练时间从两周缩减到一天，而且这还涉及到经费问题。
11月7日，加州大学伯克利分校、加州大学戴维斯分校和德州高级计算中心的研究人员在32分钟内完成了对Resnet50模型的全面训练。这个团队的精确度可以和Facebook在60分钟内训练出的模型相媲美。
不到一个星期，日本人工智能公司Preferred Networks利用自己的超级计算机（由1024个Nvidia Tesla GPU组成）在短短15分钟内训练出了同样的功能。
日本公司Preferred Networks仅用了Facebook团队四分之一的时间就达到了同样的AI识别准确度，最关键的原因可能就是minibatch的规模。Facebook使用了8,192个minibatch，而Preferred Networks使用了32,768。增加minibatch的使用规模并使用了四倍GPU后，Preferred Networks达到了目前的最短记录时间。
使用互联网作为数据集，将帮助我们更快完成AI模型。 要让机器更好地理解人类，必须让它们得到所有能得到的数据。
网友评论