1、将60个商品级问法切分训练集与测试集,将训练集中的数据(问题和对应的问法)导入ES知识库库中作为商品问法库。并采用训练数据采样训练模型。
2、采用测试集数据进行进度与召回率测试(注:本部分数据所有数据都有对应的商品级问法),检索知识库时先采用BM25召回128条作为候选匹配集,再采用ESIM模型进行匹配取分数最高的问句对应的问法为该句子的问法。
3、进行测试集评测时,采用了两个对两个模型分别进行评估(一个采用LCQMC数据集训练的语义匹配模型,一个采用采样数据训练的问法识别模型),采用语义模型做匹配时匹配分数普遍偏低,将阈值卡在0.3能得到96%的精度,99%+的召回,另一个模型阈值普遍偏高,将阈值卡在0.999能得到97%的精度,99%+的召回。
网友评论