训练技巧
- focal loss：解决类别不平衡、分类难度差异的问题，效果更好。
- 学习率下降
- 数据扩增
- 找更多的标签数据
- 一个句子重复拼接、随机去掉若干个词、打乱词序，类别不变。
- 随机挑两个同类句子，拼接成一个新句子，类别不变。
- none of above：收集更多的其他语料，将分类器多加 1 类，新语料都归为新类。
- 分词，准备领域相关的词表，优化分词效果，jieba 分词关闭新词发现功能
- 词向量：准备领域相关的预料，训练 Skip Gram 模型（耗时更多时间，但能保证效果）
- 正则化：Dropout（设置 noise_shape）
交叉验证与融合
- 交叉验证
- 单模型融合：交叉验证训练的 n 个模型求平均
- 多种模型融合：m 种不同的模型，每种模型做 n 划分交叉验证，得到 mn 个模型，通过新的模型融合 mn 个模型
https://spaces.ac.cn/archives/4823
https://www.cnblogs.com/king-lps/p/9497836.html
网友评论