天池比赛的赛题理解
赛题数据为新闻文本，并按照字符级别进行匿名处理。整合划分出14个候选分类类别：财经、彩票、房产、股票、家居、教育、科技、社会、时尚、时政、体育、星座、游戏、娱乐的文本数据。
数据集中标签的对应的关系如下：{'科技': 0, '股票': 1, '体育': 2, '娱乐': 3, '时政': 4, '社会': 5, '教育': 6, '财经': 7, '家居': 8, '游戏': 9, '房产': 10, '时尚': 11, '彩票': 12, '星座': 13}
赛题数据由以下几个部分构成：训练集20w条样本，测试集A包括5w条样本，测试集B包括5w条样本。
解题思路：
思路1：TF-IDF + 机器学习分类器
一个简单的方式就是TF IDF，样本构建流程：
特征的维度是词典集合大小（为了减少特征维度爆炸，可以去除停用词和低频词）
1.先计算出 词*分类的tf*idf矩阵，
TF是 词频，表示这个文章中该词出现的频率，IDF是逆文本频率指数。包含该词的文档比例，越小越代表该词有指向性，越大表示越普适性。
2.每个文本的词都转化成tfidf值，按词粒度聚合，然后按照词典顺序依次填充，从而得到一条样本
然后就可以接一个简单的多分类模型，预测文本分类。
网友评论