如果你真的需要推理速度快一点，可以接受代价是预测精度稍微下降那么一些的话，那么 DistilBERT 会是一个合适的选择，但是，如果你还在寻找最佳的预测性能，你最好使用 Facebook 的 RoBERTa。
从理论上讲，基于 XLNet 置换的训练应该能处理好依赖关系，并且可能在长期运行中能表现出更好的性能。
但是，Google 的 BERT 确实提供了良好的基线，如果你没有上述任何关键需求，就可以使用 BERT 维持系统的正常运行。
Transformer 101 个思考问题：
如果你真的需要推理速度快一点，可以接受代价是预测精度稍微下降那么一些的话，那么 DistilBERT 会是一个合适的选择，但是，如果你还在寻找最佳的预测性能，你最好使用 Facebook 的 RoBERTa。
从理论上讲，基于 XLNet 置换的训练应该能处理好依赖关系，并且可能在长期运行中能表现出更好的性能。
但是，Google 的 BERT 确实提供了良好的基线，如果你没有上述任何关键需求，就可以使用 BERT 维持系统的正常运行。
Transformer 101 个思考问题：
如果你真的需要推理速度快一点，可以接受代价是预测精度稍微下降那么一些的话，那么 DistilBERT 会是一个合适...
因为Bert本身参数量大，所以上线的过程中会碰到需求大空间和速度慢等问题。当前对Bert瘦身有三个思路，分别是Di...
[TOC] 1. 模型蒸馏 1. DistilBERT（2019.10.2） 知识蒸馏的基础原理： 定义两个网络，...
怎么样就怎么样 怎么样才能怎么样 怎么样不能怎么样 怎么样会怎么样 怎么样都会怎么样 怎么样的开始不会结束 怎么样...
ME：———— 从前总是要等， 等怎么样怎么样了， 就怎么样怎么样。 结果是， 还没等怎么样怎么样， 有些人，有些...
喜欢你又能怎么样 还能怎么样 还会怎么样
18 人生四问 怎么样？ 想怎样？ 能怎样？ 怎么样？ 从怎么样开始，到怎么样结束，完成一次既怎么样又不怎么样的轮...
先说动作怎么样?满分。再说摄影师怎么样？还是满分。再说纹身怎么样？怎么样？怎么样？ 是这样，每个纹身，每个图腾都有...
我真的不明白。为什么所有人都在要求女性要怎么样怎么怎么样，怎么样怎么样怎么样怎么样。个个都只考虑到自己个个都是自私...
人到中年，经常听见身边的人说，我爸怎么样，我妈怎么样；他爸怎么样，他妈怎么样，就是因为他们那样，所以我才怎么样·...
本文标题：DistilBERT 怎么样
本文链接：https://www.haomeiwen.com/subject/vcclfrtx.html
网友评论