写这篇的目的主要是记录在使用huggingface的transformers的bert部分from_pretrained的一些细节，以下主要以文本分类为例。
第一种方案：利用BertForSequenceClassification
model = BertForSequenceClassification.from_pretrained("bert-base-uncased", config=config)
第二种方案：BertForSequenceClassification+后续处理
这里继承了BertForSequenceClassification，然后取句子表示在做两层dnn进行分类，至于为什么不直接用BertModel获取句子表示然后接着搞的原因是，之前的实验是通过继承的这种方法比直接搞效果要好（是的我也不理解つ﹏⊂
class Classify(BertForSequenceClassification):
def __init__(self, bert_dir):
super(Classify, self).__init__(bert_dir)
if device == 'cuda':
self.dense_1 = nn.Linear(768, 768).cuda()
self.dense_2 = nn.Linear(768, args.label_num).cuda()
self.dropout = nn.Dropout(0.5).cuda()
self.softmax = nn.Softmax().cuda()
else:
self.dense_1 = nn.Linear(768, 768)
self.dense_2 = nn.Linear(768, args.label_num)
self.dropout = nn.Dropout(0.5)
self.softmax = nn.Softmax()
第三种方案：一个朴实的类，自己init BertModel
具体的代码略
这里主要想说第二种方案，在创建了这种形式的Model.py后，要如何实例化呢？
一共尝试了两种方法：
model = Classify(args.bert_model)model = Classify.from_pretrained(args.bert_model)
经过（不）缜密的实验，上面第一种方法是不可以的，会导致每次load的BertModel的embedding向量都是随机初始化的，验证方法：debug看看self.bert.embeddings.word_embeddings.weight是不是每次运行都一样。
这就说明只能用第二种方法，但是这个初始化方法与常见的python类初始化方法略有不一样，这是为什么呢？
搜索了很久才发现有一位同志也产生了以下的困扰，是故翻出from_pretrained的源码：
@classmethod
def from_pretrained(cls, pretrained_model_name_or_path: Optional[Union[str, os.PathLike]], *model_args, **kwargs):
...
return model
因此，能使用xx.from_pretrained进行初始化的原因就是，这里采用classmethod进行了修饰。
进到代码里在读一小段：
# Instantiate model.
if is_deepspeed_zero3_enabled():
import deepspeed
logger.info("Detected DeepSpeed ZeRO-3: activating zero.init() for this model")
# this immediately partitions the model across all gpus, to avoid the overhead in time
# and memory copying it on CPU or each GPU first
with deepspeed.zero.Init(config_dict_or_path=deepspeed_config()):
with no_init_weights(_enable=_fast_init):
model = cls(config, *model_args, **model_kwargs)
else:
with no_init_weights(_enable=_fast_init):
model = cls(config, *model_args, **model_kwargs)
这句model = cls(config, *model_args, **model_kwargs)（cls是classmethod修饰后表示自身类的参数（用于调用自己这个类的属性）），进行了类的初始化操作，这样就解释了为什么能用from_pretrained来初始化模型。
classmethod可以参考：
粗暴版：如果一个类的方法需要调用自身类的属性，用classmethod；否则就用staticmethod即可。
补充：
如果按照方案2并且希望传入一些自己的参数咋办呢？可以先这么写：（其实这属于python编程问题的范畴了
class Classify(BertForSequenceClassification):
def __init__(self, bert_dir, **kwargs):
super(Classify, self).__init__(bert_dir)
num_labels = kwargs.pop("test", 3)
if device == 'cuda':
self.dense_1 = nn.Linear(768, 768).cuda()
self.dense_2 = nn.Linear(768, num_labels).cuda()
self.dropout = nn.Dropout(0.5).cuda()
self.softmax = nn.Softmax().cuda()
else:
self.dense_1 = nn.Linear(768, 768)
self.dense_2 = nn.Linear(768, num_labels)
self.dropout = nn.Dropout(0.5)
self.softmax = nn.Softmax()
调用：
model = Classify.from_pretrained(pretrained_model_name_or_path=args.bert_model, test=num_labels)
这里有个小坑的地方，在调用时，第一个参数名称一定要是这个：pretrained_model_name_or_path（或者省略）。其它自己想要传入的参数（如test），尽量起一个其它的名字，不要和transformers包中的起名有重复，原因是在from_pretrained函数中有一系列pop的操作（如下图）
image.png
一些好看的命名方式会在init过程中被pop出去，然后在Classify类就找不到了（不过我没有找到pop出num_labels的位置）
一个错误的调用示范：
model = Classify.from_pretrained(pretrained_model_name_or_path=args.bert_model, num_labels=num_labels)
我们会发现kwargs是空的：
image.png
而我们希望的是：
image.png
总体来说，BertForSequenceClassification设计之初可能就没打算继承出来接着搞更多的东西，现在用from_pretrained+kwargs能绕开一些小坑，不过总归还是哪里不对劲┑(￣Д ￣)┍
网友评论