正文之前

好久没写了，以后写点日常总结吧，感觉不写下来，会容易忘掉一些。

很喜欢的一张壁纸，希望后面买了相机也可以拍这么好看~

正文

首先直接把我对数据预处理的一些收获贴出来：

1. jieba比清华的好用，不过清华的更注重整体性，比如说在一个《》包含的文件内，不会分割

• 清华的： http://thulac.thunlp.org/

2. 最终还是选择了简单粗暴的只留下汉字，unicode编码真是简单粗暴

• https://www.linuxhub.org/?p=3196 第一个方法，极其爽

3. jieba和thulac都无法去掉，。、“”这些符号，很奇怪，所以我才选择的第二种方式

4. 当然还有另外的方法

import re

r1 = '[a-zA-Z0-9’!"，：#$%&\'(（）)*+,-—./:;；<=>?@。?★、…【】《》？“”‘’！[\\]^_`{|}~]+●「」『』〖〗〘〙〚〛〜～｟｠｢｣〝〞〟〰〾〿□'

i  = re.sub(r1,"",i)

5. python操作路径： https://www.cnblogs.com/wei-li/p/2502735.html

6. python with的用法：

• 而使用with的话，能够减少冗长，还能自动处理上下文环境产生的异常。如下面代码：

with open("2.txt") as file:
    data = file.read()

---

上面是对清华的那个文本分类数据集做预处理的时候的一些踩的坑，八十多万个txt文件，真的搞死我。耗时最长的是删除那些零散的txt。。两个小时，我滴妈。。

---

下面是我读取txt文件并且转化为csv文件的踩坑：

1. 超大文本写入CSV文件的时候，可以扩容 _csv.Error: field larger than field limit (131072)

import sys

import csv

csv.field_size_limit(sys.maxsize)

2. python open()打开文件之后如果用readlines（），那么会直接到文件底部，再调用这个函数就得不到任何数据了。。这个坑。。我他么，看下面代码的精妙之处：

    file = open(x, 'r', encoding='utf8')
    fileLength = len(file.readlines())
    file.close()
    file = open(x, 'r', encoding='utf8')
    fReader = csv.reader(file)
    print("Now the file length is: " + str(fileLength))
    for i in fReader:
        if fReader.line_num ==1:
            continue
        if(fReader.line_num<0.6*fileLength):
            trResult.append(i)
        elif (fReader.line_num >= 0.6*fileLength and fReader.line_num<0.8*fileLength ):
            teResult.append(i)
        else:
            vaResult.append(i)
    file.close()

要获得文本长度，那么直接开关一次，与后面彻底脱节，这样就OK了
然后的话，csv的reader内置的line_num貌似会自动迭代。不过我没去测试如果在一次循环体里面没有调用item 是否会跳转到下一行。毕竟你不用，循环个锤子哦。（随机采样表示不关我的事，）

至于之前把所有的txt文件写到对应分类的csv里面去，我看看，放一部分代码吧~ 全部的丢上来就涉及到一些不能说的秘密了。

def clearTHU():
    nowWorkingDirectory = os.getcwd()
    nowWorkingDirectory = 'G:\启动盘外的文件\THUCNews'
    directoryNames = ['彩票','科技','社会','时尚','时政','星座','游戏','娱乐']
    allDataPath = []
    #@TODO 后面到了linux的机器上可以开启并行分词
    filtrate = re.compile(XXX)#非中文
    for i in directoryNames:
        allDataPath.append(os.path.join(nowWorkingDirectory,i))
    for i in range(len(allDataPath)):
        #现在是在分类的文件夹下，读取每个文件夹下的所有文件丢到一个csv文件里面去
        csvWFile = open(os.path.join(nowWorkingDirectory,  directoryNames[i]+ '.csv'), 'w', encoding='utf8', newline='')
        csvWFile.truncate()
        writer = csv.writer(csvWFile)
        index = [XXXX]
        writer.writerow(index)
        files = os.listdir(allDataPath[i])
        result = []
        print(allDataPath[i])
        resultLength = 0
        for file in files:
            if(file.find('txt')==-1):
                continue
            item = []
            with open(os.path.join(allDataPath[i],file), 'r', encoding='utf8') as f:
                x = "".join([line.strip() for line in f.readlines()])
                item.append(allDataPath[i][-2:])
                item.append(x)
                x = filtrate.sub(r'', x)
                ss= ""
                for s in XXX:
                    ss+= (XXX)
                item.append(ss.strip())
                if len(x)<10:
                    continue
                item.append(str(XXX))
            result.append(item)
            if len(result) > 1000:
                writer.writerows(result)
                resultLength += len(result)
                print("length of result: " + str(resultLength)+ "/"+str(len(files)))
                result = []
                # print("================"+os.path.join(allDataPath[i],file)+"=================\n" + " ".join(jieba.cut(x)))
        if len(result) > 0:
            writer.writerows(result)
        csvWFile.close()
if __name__ == '__main__':
    clearTHU()

正文之后

觉得自己的代码真的写的美极了~