以下翻译自google-research/bert：
在撰写本文时（2018年10月31日），Colab用户可以完全免费访问Cloud TPU。
image
BERT，预训练语言理解的新方法，它可以在各种自然语言处理（NLP）任务中获得目前最好的结果。 学术论文：arxiv.org/1810.04805。该Colab演示了使用免费的Colab Cloud TPU来微调基于预训练BERT模型构建的句子和句子对分类任务。 注意：您需要GCP（Google Compute Engine）帐户和GCS（Google云端存储）存储桶才能运行此Colab。 请关注如何创建GCP帐户和GCS存储桶的Google Cloud TPU快速入门。 您可以获得300美元的免费积分来开始使用任何GCP产品。 您可以访问https://cloud.google.com/tpu/docs了解有关Cloud TPU的更多信息。
常问问题
此代码是否与Cloud TPU兼容？GPU怎么样？
是的，此存储库中的所有代码都可以与CPU，GPU和云TPU一起使用。但是，GPU培训仅适用于单GPU。
我得到内存不足的错误，出了什么问题？
有关更多信息，请参阅有关内存不足问题的部分。
有PyTorch版本吗？
没有正式的PyTorch实现。然而，来自HuggingFace的NLP研究人员提供了 PyTorch版本的BERT， 它与我们预先训练好的检查点兼容，并且能够重现我们的结果。我们没有参与PyTorch实现的创建或维护，因此请向该存储库的作者提出任何问题。
有Chainer版本吗？
没有正式的Chainer实施。然而，Sosuke Kobayashi制作了Biner的Chainer 版本， 该版本与我们预先训练好的 检查点兼容，并且能够重现我们的结果。我们没有参与Chainer实施的创建或维护，因此请向该存储库的作者提出任何问题。
是否会发布其他语言的模型？
是的，我们计划在不久的将来发布多语言BERT模型。我们无法确定将包含哪些语言，但它可能是一个单一的模型，其中包括大多数具有相当大的维基百科的语言。
模型是否会大于BERT-Large发布？
到目前为止，我们还没有尝试过训练任何大于的东西BERT-Large。如果我们能够获得重大改进，我们可能会发布更大的模型。
网友评论