BERT的那些类

1. BertConfig

这是一个配置类，继承PretrainedConfig类，用于model的配置，构造函数参数如下：

vocab_size (int, optional, defaults to 30522) ：BERT模型的字典大小，默认30522，每个token可以由input_ids表示。

hidden_size (int, optional, defaults to 768) ：是encoder和pooler层的维度，其中encoder层就是bert的主体结构，pooler层是将encoder层的输出接一个全连接层，将整个句子的信息表示为第一个token对应的隐含状态。

num_hidden_layers (int, optional, defaults to 12) ：隐含层数，默认是12层。

num_attention_heads (int, optional, defaults to 12) ：每个attention层的attention头数，默认是12个。

intermediate_size (int, optional, defaults to 3072) ：encoder中的中间层的维度，如前向传播层，默认是3072.

hidden_act (str or function, optional, defaults to “gelu”)：encoder和pooler部分中非线性层的激活函数，默认是gelu

hidden_dropout_prob (float, optional, defaults to 0.1) ：embedding, encoder, pooler部分里全连接层的dropout概率，默认为0.1.

attention_probs_dropout_prob (float, optional, defaults to 0.1)：attention过程中softmax后的概率计算时的dropout概率，默认0.1.

max_position_embeddings (int, optional, defaults to 512) ：模型允许的最大序列长度，默认512。

函数:

from_dict：由一个参数字典构建Config；

from_json_file：由一个参数json文件构建Config；

from_pretrained：由一个预训练的模型配置实例化一个配置

2. BertTokenizer

以字分割，继承PreTrainedTokenizer，前面介绍过，构造函数参数;

vocab_file (string)：字典文件，每行一个wordpiece

do_lower_case (bool, optional, defaults to True) ：是否将输入转换成小写

do_basic_tokenize (bool, optional, defaults to True)：是否在字分割之前使用BasicTokenize

never_split (Iterable, optional, defaults to None) ：可选。输入一个列表，列表内容为不进行 tokenization 的单词

unk_token (string, optional, defaults to “[UNK]”) ：字典里没有的字可以用这个token代替，默认使用[UNK]

sep_token (string, optional, defaults to “[SEP]”)：分隔句子的token符号，默认[SEP]

pad_token (string, optional, defaults to “[PAD]”) 

cls_token (string, optional, defaults to “[CLS]”)

mask_token (string, optional, defaults to “[MASK]”)

tokenize_chinese_chars (bool, optional, defaults to True) :是否将中文字分割开

返回的就是input_ids，token_type_ds，attention mask等。

3. BertModel

Bert模型类，继承torch.nn.Module，实例化对象时使用from_pretrained()函数初始化模型权重，参数config用于配置模型参数

模型输入是：

input_ids，token_type_ids(可选），attention_mask(可选)，position_ids(可选),

head_mask(可选）：0表示head无效，1表示head有效。

inputs_embeds (可选)如果不使用input_ids，可以直接输入token的embedding表示。

encoder_hidden_states(可选)：encoder最后一层的隐含状态序列，模型配置为decoder时，需要此输入。

encoder_attention_mask(可选)：encoder最后一层隐含状态序列是否参与attention计算，防止padding部分参与，模型配置为decoder时，需要此输入.

返回类型tuple(torch.FloatTensor)：

last_hidden_state：模型最后一层输出的隐含层状态序列

pooler_output ：最后一层隐含层状态序列经过一层全连接和Tanh激活后，第一个toekn对应位置的输出。

hidden_states（可选，当output_hidden_states=True或者config.output_hidden_states=True）：每一层和初始embedding层输出的隐含状态

attentions（可选，当output_attentions=True或者config.output_attentions=True）：attention softmax后的attention权重，用于在自注意力头中计算权重平均值。

4. BertForPreTraining

这个类是论文中做pre_train时的两个任务，a masked language modeling and a next sentence prediction ，模型主体与BertModel一样，只是输入输出上稍有不同。

输入中增加了labels ，next_sentence_label，分别用于两个任务计算loss时用。

输出主要是loss，prediction_scores，seq_relationship_scores分别表示两个任务的总loss，MLM任务的loss和NSP任务的loss。

5. BertForMaskedLM

6. BertForNextSentencePrediction

这两个类就是把两个任务分开了，单独进行

7. BertForSequenceClassification

这个类用于句子分类或回归任务，继承torch.nn.Module，实例化依然使用from_pretrained+ config配置。

输入相比BertModel多了一个label

输出主要是loss，logits（softmax之前的分类分数）等tuple(torch.FloatTensor)

8. BertForMultipleChoice

这个是用于多项选择分类，例如，RocStories/SWAG tasks，这个分支我不了解，简单搜了一下就是给出前面几句话，让你从后面几个选项中选出接下来的话是哪个，感觉是知识推理。

输入输出与BertForSequenceClassification一样。

9. BertForTokenClassification

这个类用于对token分类，如命名实体识别任务，从给定的输入中识别出命名实体，所以是对最小单位toekn的分类。

输入输出同BertForSequenceClassification

10. BertForQuestionAnswering

这个类适用于问答系统。

输入中将上面几个模型中的label改成了start_position和end_position，即答案在原文中起始和结束位置。

输出是将预测分数改成了对答案起始位置和结束位置的预测分数。