如果你真的需要推理速度快一点，可以接受代价是预测精度稍微下降那么一些的话，那么 DistilBERT 会是一个合适的选择，但是，如果你还在寻找最佳的预测性能，你最好使用 Facebook 的 RoBERTa。
从理论上讲，基于 XLNet 置换的训练应该能处理好依赖关系，并且可能在长期运行中能表现出更好的性能。
但是，Google 的 BERT 确实提供了良好的基线，如果你没有上述任何关键需求，就可以使用 BERT 维持系统的正常运行。
Transformer 101 个思考问题：
如果你真的需要推理速度快一点，可以接受代价是预测精度稍微下降那么一些的话，那么 DistilBERT 会是一个合适的选择，但是，如果你还在寻找最佳的预测性能，你最好使用 Facebook 的 RoBERTa。
从理论上讲，基于 XLNet 置换的训练应该能处理好依赖关系，并且可能在长期运行中能表现出更好的性能。
但是，Google 的 BERT 确实提供了良好的基线，如果你没有上述任何关键需求，就可以使用 BERT 维持系统的正常运行。
Transformer 101 个思考问题：
本文标题：DistilBERT 怎么样
本文链接：https://www.haomeiwen.com/subject/vcclfrtx.html
网友评论