Caffe | 你的第一个分类网络之数据准备

0.准备数据集

将每个类别的图片存放到对应的文件夹中，如下图所示。需要注意的是每个图片的名称不要有空格和括号，否则会导致生成lmdb文件的时候路径读入错误。

1.生成train.txt和test.txt

• train.txt：存的是训练集数据路径和类别
• test.txt：存的是测试集数据路径和类别

（1）生成绝对路径
利用如下的LoadAbsoluteName.py得到指定格式的（当前实例中的.jpg格式的图片）文件的绝对路径。该路径用于之后caffe训练数据集的生成。生成如下图所示的绝对路径。

#LoadAbsoluteName.py
#提取指定文件夹下对应格式文件的绝对路径
import os
def ListFilesToTxt(dir,file,wildcard,recursion,NeedAbsolutePath):
    exts = wildcard.split(" ")
    files = os.listdir(dir)
    for name in files:
        fullname = os.path.join(dir,name)
        if(os.path.isdir(fullname) & recursion):
            ListFilesToTxt(fullname,file,wildcard,recursion,NeedAbsolutePath)
        else:
            for ext in exts:
                if (name.endswith(ext)):
                    if NeedAbsolutePath:
                        file.write(fullname+"\n")
                    else:
                        file.write(name+"\n")
                    break

def Test():
    dir = r"D:\\DataSet\\苹果"
    outfile = u"苹果.txt"
    wildcard = ".jpg"
    
    file = open(outfile,"w")
    if not file:
        print("can not open the file")
    ListFilesToTxt(dir,file,wildcard,1,1)
    file.close()
    
if __name__ == "__main__":
    Test()

（2）添加类别号
利用如下的AddSthInTail.py将每个路径后添加上指定的类别。这个步骤和上一个步骤若是在Windows下操作一定要注意编码以及中文问题，建议大家不要在任何的地方出现中文。本文为了便于理解才使用中文，所以代码段中才会出现各种奇怪的标号如"u"等等。

#-*-coding:utf8-*-
#AddSthInTail.py
#该代码能够对txt文件中每一行最后加上一个空格和数值
#用于caffe分类时，末尾类别号的添加（注意从零开始）
with open(u"Add香蕉.txt","w") as fout:
    with open(u"香蕉.txt","r") as fin:
        flines = fin.readlines()
        for line in flines:
            old = line.strip()
            add = " "+"2"+"\n"
            new = old + add
            fout.write(new)

（3）拆分训练集和测试集
本例将数据集简单的拆分为9:1。就是每一类中将90%数据作为训练集，10%为测试集。新建train和test两个文件夹，并把利用下述CutTrainTestForOneClass.py代码生成的四种train和test的txt分别放入对应文件夹，如下图。

#-*-coding:utf8-*-
#CutTrainTestForOneClass.py
#把某一个类别的txt按照90%的比例切分训练集和测试集
with open(u"香蕉train.txt","w") as fout1:
    with open(u"香蕉test.txt","w") as fout2:
        with open(u"Add香蕉.txt") as fin:
            flines = fin.readlines()
            TotalNum = len(flines)
            for i in range(TotalNum):
                if(i>=(TotalNum*0.9)):
                    fout2.write(flines[i])
                else:
                    fout1.write(flines[i])

（4）合并文件，生成train.txt和test.txt
利用CombineTxt.py代码，将上述的各个类别的txt合成两个：train.txt和test.txt。至此文件准备工作完成，就可以进入caffe的操作阶段了，我们下一篇接着讲~。

#-*-coding:utf8-*-
#CombineTxt.py
#把当前文件夹中的几个txt文件合并成一个
import os
filedir = r"D:\\DataSet\\test"
filenames= os.listdir(filedir)
with open("test.txt","w") as fin:
    i=0
    for filename in filenames:
        filepath = filedir + "\\"+filename
        for line in open(filepath):
            i+=1
            fin.writelines(line)
    print i