之前学习了Transformers的用法，然后实战了一波，效果那是杠杠的，现在简单总结一下吧，列出的代码均为关键代码，需按照自己任务要求完善。
1. 数据预处理
中文/英文：标点，特殊符号，中文中的停用词等都没有去掉，原本是什么亚子还是什么亚子。
除了文本数据外，还有label，或者其他需要的特征，可以放到一个data{‘content’， ‘label’, ...}字典中，用于传入自定义dataset类。
2. 自定义Dataset类
输入的数据是原始模样，经过自定义dataset类处理后就可以输入到Bert模型中啦。
def __init__(self, data, VOCAB, max_sen_len,...):
self.tokenizer = BertTokenizer.from_pretrained(VOCAB)
self.max_sen_len = max_sen_len
self.content = data['content']
self.label = torch.from_numpy(data['label'])
构造函数中的VOCAB = './model/bert-base-multilingual-cased/vocab.txt'
max_sen_len 是规定模型要处理的最大句子长度
self.content就是原始文本数据
def __getitem__(self, idx):
text_content = self.tokenizer(self.tweet_content, add_special_tokens = True, padding = 'max_length', truncation = True, max_length = self.max_sen_len, return_tensors = 'pt')
#给数据加上[CLS],[END]等符号，没到最大长度的要padding，超过最大长度的要截断，返回张量
text_input_ids = text_content['input_ids'] #给每个token编号
token_type_ids = text_content['token_type_ids'] #区分属于哪句话
attention_mask = text_content['attention_mask'] #padding部分为0，不参与attention计算
return text_input_ids[idx], token_type_ids[idx], attention_mask[idx], self.label[idx]
def __len__(self):
print('len:{}'.format(len(self.label)))
return len(self.label)
3. 模型准备
我使用的是bert多语言模型，【bert-base-multilingual-cased】，首先在代码文件的当前目录新建一个文件夹，命名为【bert-base-multilingual-cased】，然后需要去官网下载3个文件，分别是配置文件config.json，模型参数文件pytorch_model.bin， 词表voca.txt：
注：下载方式，鼠标右键，选择链接另存为，保存到刚刚创建的文件夹里，就以上图名字命名保存。
4. 模型class
def __init__(self, CASED, bert_hidden_dropout_prob, ...):
self.config = BertConfig.from_pretrained(self.CASED, hidden_dropout_prob = self.bert_hidden_dropout_prob)
self.bert = BertModel.from_pretrained(self.CASED, config = self.config)
在class定义的 __init__函数中self.config和self.bert就是我们用到的bert模型，其中,
self.CASED = './model/bert-base-multilingual-cased/'，也就是存放下载好的模型文件的文件夹路径
def forward(self, text_input_ids, token_type_ids, attention_mask,...):
bert_output = self.bert(input_ids = text_input_ids, token_type_ids = token_type_ids, attention_mask = attention_mask)
forward函数的输入包括text_input_ids, token_type_ids, attention_mask，这些都是通过Bert中的tokenizer得到的（dataset类中处理）。
self.bert输出的是一个元组，其中第一个值是模型最后一层输出的隐含层状态序列，第二个值是最后一层隐含层状态序列经过一层全连接和Tanh激活后，第一个toekn对应位置的输出，这两个一直都会输出，后面还有在特定条件下的输出，请看pytorch: Transformers入门（三） - 简书
5. main函数中
在main函数中只需要把初始化需要的参数准备好，按照以下步骤进行即可：
（1）读取原始数据，得到各个特征（文本，label等）
（2）传入dataset， 构造dataloader
（3）初始化模型
（4）定义损失函数和优化器
（5）训练...
后面有时间总结一个pytorch训练，测试模型的完整demo吧，这是我一直想干的事情
网友评论