但是，有些作者发表的文章充斥着色情与暴力，一旦被青少年看到，会产生难以想象的后果。我们需要对网络上的文章进行检测，以标记出其是否为色情文章，如果是，那么我们就要将其过滤不予显示。而人工检测在信息爆炸的今天几乎不可能实现。所以，我们提出了基于神经网络的色情文章检测。
具体的模型工作原理可以参考我翻译的一个关于NLP中CNN研究的博文 。
进群：548377875 即可获取数十套PDF以及大量的学习教程！源码也是有的哦！
据处理
因为色情文章中往往会有较多的标点符号，而且网络小说中也会有各种乱码存在，对我们提取特征造成困难。所以，我们先把文章中的特殊字符与标点符号去掉。
然后，我们考虑到一篇小说可能会有上万字甚至更多。而文本卷积神经网络要求所有输入数据有一个统一的长度，如此长的数据对计算压力要求太高。而且如此长的数据对于模型来说没有很大意义。
考虑到一篇文章内，往往中间部分的内容比较能够代表本篇文章的主旨，所以我们数据的选取方式如下所示：
如果文章大于3000个词，则选取中间的1500个词；
如果文章小于3000个词，但是大于1500个词，则选取最后1500个词；
如果文章不大于1500个词，则利用特殊符号补全到1500个词。
我们的数据是中文数据，不像英文单词可以利用空格进行区分单词。我们使用的 jieba 库对文章进行分词。
将选取好的数据转换成数字后，文章数据如图所示：
模型
中conv1的卷积核大小为2，也就是对嵌入矩阵的相邻两行进行卷积计算，conv2的卷积核大小为3，conv3的卷积核大小为4，conv4的卷积核大小为5。每个卷积的维度为2，也就是有两个大小相同的卷积核进行卷积。经过卷积之后生成了两个1499*1向量，两个1498*1向量，两个1497*1向量，两个1496*1向量。
在池化层对8个向量进行最大池化，分别从每个卷积提取出1个特征值。将8个特征值拼接成一个8*1维向量，至此，我们就把文章中的特征提取出来了。
最后，我们将提取出来的特征送入softmax层进行分类，获得最终结果。
神经网络具体工作流程见翻译的博文。
训练
参数设置
batch_size = 16
循环次数 = 3
学习率 = 0.005
嵌入矩阵维度 = 32
交叉验证机与测试集选取
我们选取2000条数据作为测试集，剩余数据作为训练集。
然后在每次训练循环中随机抽取剩余数据的10%作为交叉验证集。
Accurate变化
可以看出，在训练稳定之后，训练集上的准确率保持在90%以上，平均准确率在98%以上。
在交叉验证集和测试集的平均准确率也在98%以上。
github地址：https://github.com/yudake/porn_fiction_classify
网友评论