2021-01-20

今日完成

1、完成问题通用包、行业包、商品包分桶三分类模型，结果如下：

采用问法阈值以上的数据，根据问法标签决定label构建初始数据集，采用8:2的train与dev划分，在阈值以上的数据上得到的prf值与classification_report如下：

precision recall f1-score support

1      0.99      0.99      0.99    33469

2      0.97      0.98      0.97      7832

3      0.97      0.96      0.97      4208

accuracy                          0.99    45509

macro avg      0.98      0.98      0.98    45509

weighted avg      0.99      0.99      0.99    45509

[[33252  142    75]

[  143  7639    50]

[  77    74  4057]]

2、以1为基础模型，泛化到阈值以下的数据，采用1训练的模型对阈值以下的数据进行预打标并加入到训练集中，同样采用8:2划分得到的dev集结果如下：

precision recall f1-score support

0      0.97      0.97      0.97    63440

1      0.92      0.93      0.92    21268

2      0.92      0.91      0.91    15291

accuracy                          0.95    99999

macro avg      0.94      0.94      0.94    99999

weighted avg      0.95      0.95      0.95    99999

[[61772  1047  621]

[  928 19733  607]

[  734  690 13867]]

3、以此模型为基础对人工标注的数据进行预打标并与人工标注结果对比，发现对于商品包的数据inference效果很差，而且人工标注含有标签为4（其他）的数据，这与训练的三分类模型并不同步，模型对此部分数据进行inference时压力比较大。

4、通过3C行业包测试集中标注为其他的数据以及行业包预打标的阈值极低的数据构建4分类标签体系数据，完成了数据集的构建，没有做任何的清洗，采用8:2划分正在训练，结果暂时未出。