1 赛题理解

2 数据分析

3 词向量+机器学习模型

4 Fasttext

• 安装：Fasttext安装教程 ，python的第三方库 ，安装到虚拟环境中
• fasttext的参数解释
• 更加详细一点的介绍
• 相关介绍及实例，包含了文件的处理操作，模型的属性和方法
• 源码解析

一、简介

keras版本的fasttext实现

image.png
fastText是Facebook于2016年开源的一个词向量计算和文本分类工具，在学术上并没有太大创新。但是它的优点也非常明显，在文本分类任务中，fastText（浅层网络）往往能取得和深度网络相媲美的精度，却在训练时间上比深度网络快许多数量级。在标准的多核CPU上， 能够训练10亿词级别语料库的词向量在10分钟之内，能够分类有着30万多类别的50多万句子在1分钟之内。
这里有原理和基础知识的介绍，可以看一看

二、实例

import numpy as np
import pandas as pd
import fasttext
from sklearn.metrics import f1_score

train = pd.read_csv(r'E:\jupyter_lab\TianChi\News_classifier\data\train\train_set.csv',sep='\t',encoding='utf8')
train.head()
train.shape  #(200000,2)

image.png

1.处理成fasttext的输入格式,并保存

train['label_ft'] = '__label__' + train['label'].astype(str)
train[['text','label_ft']].iloc[:-5000].to_csv(r'E:\jupyter_lab\TianChi\News_classifier\data\train\train_fasttext.csv',index=None,header=None,sep='\t')
#默认逗号分隔
train[['text','label_ft']].iloc[-5000:].to_csv(r'E:\jupyter_lab\TianChi\News_classifier\data\test_a\test_fasttext.csv',index=None,header=None,sep='\t')

2.训练并保存

%%time
data_path = r'E:\jupyter_lab\TianChi\News_classifier\data\train\train_fasttext.csv'
model = fasttext.train_supervised(input=data_path, lr=1.0, wordNgrams=3, minCount=1,label='__label__',epoch=25,loss='hs')

output_dir = r"E:\jupyter_lab\TianChi\News_classifier\model\model.bin"
model.save_model(output_dir)

超长时间预警： image.png

fasttext的参数解释

  input: 训练数据文件路径
  lr: 学习率
  dim: 向量维度
  ws: cbow模型时使用
  epoch: 次数
  minCount: 词频阈值, 小于该值在初始化时会过滤掉
  minCountLabel: 类别阈值，类别小于该值初始化时会过滤掉
  minn: 构造subword时最小char个数
  maxn: 构造subword时最大char个数
  neg: 负采样
  wordNgrams: n-gram个数
  loss: 损失函数类型, softmax, ns: 负采样, hs: 分层softmax
  label: 类别前缀

3.重新加载模型并测试

model_reload = fasttext.load_model(output_dir)

pred_result = model_reload.predict(train.iloc[-1]['text'])
pred_result
#看看返回的形式   return 标签列表, 概率列表

image.png 单个样本单个样本的预测，最后计算 f1_score

%%time
val_pred = [model_reload.predict(x)[0][0].split('__')[-1] for x in train.iloc[-5000:]['text']]
#return 类别的列表

print(f1_score(train['label'].values[-5000:].astype(str),val_pred,average='macro'))

image.png 以整个文件的形式进行test，返回准确率

%%time
data_test_path = r'E:\jupyter_lab\TianChi\News_classifier\data\test_a\test_fasttext.csv'
clf_model = r"E:\jupyter_lab\TianChi\News_classifier\model\model.bin"

def predict(input_data, clf_model): #return [样本个数, 准确率, 召回率]
    classifier_model = fasttext.load_model(clf_model)
 
    prd_label = classifier_model.test_label(input_data)
    print(prd_label)
    prd_label = classifier_model.test(input_data)
    acc = prd_label[1]
    return acc

acc=predict(data_test_path,clf_model)

pre_label长这个样子 classifier_model.test_label.png

acc：0.94

4.关于参数调优

改变fasttext里的参数，进行模型调整。
（1）API中默认wordNgrams为1，其实就是默认不加入N-gram feature。当然是加入之后效果更好。
（2）lr 在[0.1-1]之间进行尝试。
还有其他的一些参数，可以尝试修改。由于运行时间有点长，就先撤了~
更新中，下节预告：基于深度学习的文本分类2