【ML｜NLP】预训练模型

Pre-trained model: A pre-trained model is a saved network that was previously trained on a large dataset, typically on a large-scale image classification task. 

从字面上看，预训练模型（pre-training model）是先通过一批语料进行模型训练，然后在这个初步训练好的模型基础上，再继续训练或者另作他用。这样的理解基本上是对的，预训练模型的训练和使用分别对应两个阶段：预训练阶段（pre-training）和 微调阶段（fune-tuning）。

Reference:

https://www.cnblogs.com/zjuhaohaoxuexi/p/16393655.html