ELECTRA 的预训练速度是加快了，但从目前的实验来看，它相比同级别的 BERT 在下游任务上的效果并没有突出优势，可以试用，但是效果变差了也不用太失望。此外，如果你需要用到 MLM 部分的权重，那么也不能用 ELECTRA，因为 ELECTRA 的主体是判别器，它不是 MLM 模型；而 ELECTRA 中作为生成器的 MLM 模型，则比判别器简化，可能存在拟合能力不足、学习不充分等问题，并不是一个很好的预训练 MLM 模型。
至于 ELECTRA 背后的思想，即针对 MLM 随机 Mask 这一步过于简单进行改进，目前看来方向是没有错误的，但是将生成式模型换成判别式模型的有效性依然还需要进一步验证，如果有兴趣深入分析的读者，倒是可以进一步思考研究。
Transformer 101 个思考问题：
ELECTRA 的预训练速度是加快了，但从目前的实验来看，它相比同级别的 BERT 在下游任务上的效果并没有突出优...
昨晚梦到了小时候的家里 猛然醒来时，枕边湿透，已经无意识的哭了好久 我以为我早已经忘了如何流泪的 梦中我们依旧彼此...
手机系统：11.3.1型号：iPhone 8越狱软件：Electra-vfs话说这个Electra越狱的成功率是真...
设备环境：Electra、iOS11.13.1PS:Electra最新版本进行越狱只支持11.14以下的版本。同时...
来自美国的Electra，用自行车组成创意乐队，带给大家无限的欢乐！ 5辆风格鲜明、精心装饰的Electra自行车...
双“旦”来临，还在烧脑准备什么礼物过年吗？最近，我们Electra上海旗舰店特别组织了一次Electra巡游活动，...
双“旦”来临，还在烧脑准备什么礼物过年吗？ 最近，我们Electra上海旗舰店特别组织了一次Electra巡游活动...
8种适当存放Electra自行车方法 真正的行家给出了两个问题：如何选择Electra自行车以及如何妥善地存储。 ...
如何选择一台Electra自行车？ 这并没有什么特定的规则。但有一些如下建议，仅供大家参考。 在Electra世界...
为庆祝美国城市自行车品牌Electra创立 25周年，2018年4月2日晚，由Electra主办的“25周年庆派对...
本文标题：ELECTRA 怎么样
本文链接：https://www.haomeiwen.com/subject/bkclfrtx.html
网友评论