TorchText数据清洗与加载

流程：
1、数据清洗
2、数据加载

基本步骤
1、Load
2、Split -> (train, validation, test)
3、Vocabulary -> Number -> Padding
4、Batch -> Shuffle

工具
PyTorch
1、使用skitlearn划分数据集
2、使用TorchText加载数据

import torchtext

# 文本数据基本处理
def tokenizer(text):
    # 异常字符去除，分词等
    return text.split(' ')

# 定义字段
TEXT = torchtext.data.Field(sequential=True,
    tokenize=tokenizer, fix_length=20, pad_first=False)
# 数值[有序]    
LABEL = torchtext.data.LabelField(sequential=False, use_vocab=False) 
# 其他
LABEL = torchtext.data.LabelField(sequential=False, use_vocab=False)

# 加载数据
train_data, val_data = torchtext.data.TabularDataset.splits(
    path='/data/', t
    rain='train.csv', validation='valid.csv', format='csv',
    fields=[
    ('location', None),
    ('text', TEXT), ('labels', LABEL)])

 # 创建词表
TEXT.build_vocab(train_data)
LABEL.build_vocab(train_data)

# 批量生成数据
train_iter, val_iter = torchtext.data.BucketIterator.splits(
    (train_data, val_data), 
    batch_sizes=(32, 64),
    sort_key=lambda x: len(x.text),
    shuffle=True)

# 查看数据
batch = next(iter(train_iter))
print(batch.text)
print(batch.labels)