美文网首页
YOLO v3训练自己的数据集(GPU)

YOLO v3训练自己的数据集(GPU)

作者: 西北小生_ | 来源:发表于2019-03-27 00:45 被阅读0次

    环境:Ubuntu 16.04 + CUDA8.0 + cudnn5.1

    下载模型:
    git clone https://github.com/pjreddie/darknet  
    cd darknet
    
    修改Makefile文件配置:

    在darknet目录下

    gedit Makefile
    
    GPU=1 #如果使用GPU设置为1,CPU设置为0
    CUDNN=1  #如果使用CUDNN设置为1,否则为0
    OPENCV=1 #如果调用摄像头或显示图片,还需要设置OPENCV为1,否则为0
    OPENMP=0  #如果使用OPENMP设置为1,否则为0
    DEBUG=0  #如果使用DEBUG设置为1,否则为0
    
    ARCH= -gencode arch=compute_30,code=sm_30 \
          -gencode arch=compute_35,code=sm_35 \
          -gencode arch=compute_50,code=[sm_50,compute_50] \
          -gencode arch=compute_52,code=[sm_52,compute_52]
    #      -gencode arch=compute_20,code=[sm_20,sm_21] \ This one is deprecated?
    # This is what I use, uncomment if you know your arch and want to specify
    ARCH= -gencode arch=compute_61,code=compute_61 #取消此行注释并将52改为61,因为我的GPU是1050Ti和1080Ti,具体GPU算力是多少可以百度
    
    ... ...
    NVCC=/home/user/cuda-8.0/bin/nvcc   #NVCC=nvcc 修改为自己的路径
    ... ...
    COMMON+= -DGPU -I/home/hebao/cuda-8.0/include/  #修改为自己的路径,我的这部分改为cuda也能运行
    CFLAGS+= -DGPU
    LDFLAGS+= -L/home/hebao/cuda-8.0/lib64 -lcuda -lcudart -lcublas -lcurand  #修改为自己的路径
    
    编译:

    在darknet目录下

    make
    

    若前面的路径错误或GPU算力不匹配都会报错,在服务器上跑的话将Makefile中的opencv置0,否则报错。

    下载权重,运行demo:

    在darknet目录下

    wget https://pjreddie.com/media/files/yolov3.weights
    ./darknet detector test cfg/coco.data cfg/yolov3.cfg yolov3.weights data/dog.jpg
    

    若demo运行成功,则说明没问题。

    制作自己的VOC数据集:

    详见另一篇文章。
    这里说一下,我用的VOC2007数据集,一般只需要将Annotations替换为自己的xml文件,JPEGImages替换为自己的.jpg图片即可。
    需要注意的是VOCdevkit文件目录在darknet下。

    下载voc_label.py文件:

    在darknet目录下:

    wget https://pjreddie.com/media/files/voc_label.py
    
    gedit voc_label.py
    

    修改文件:

    sets=[('2007', 'train'), ('2007', 'test'), ('2007', 'val')]  #删除2012的部分
     
    classes = ["man", "woman"]    #设置为自己的类别
    

    运行修改的voc_label.py文件:

    python voc_label.py
    

    将会发现darknet目录下会出现几个.txt文件,然后将其合在一起:

    cat 2007_train.txt 2007_val.txt > train.txt
    

    此时会发现darknet目录下出现了一个train.txt文件

    修改voc.data文件:
    gedit cfg/voc.data
    
    classes= 2   #你的数据及类别
    train  = /home/pxt/darknet/train.txt   #上步产生的train.txt文件路径
    valid  = /home/pxt/darknet/test.txt    #上步生成的test.txt文件路径
    names = data/voc.names
    backup = backup
    
    修改voc.names文件:
    gedit data/voc.names
    
    man   #自己的数据集标签
    woman
    
    修改yolov3-voc.cfg文件:
    gedit cfg/yolov3-voc.cfg
    
    # Testing
    #batch=1    #注释测试
    #subdivisions=1
    # Training
    batch=32    #取消测试,现存小的话将batch改小,subdivisions变大
    subdivisions=16
    
    还有3处位置都需要修改,可以在gedit下ctrl+f查找yolo找到这三处:
    [convolutional]
    size=1
    stride=1
    pad=1
    filters=21    # 3*(类别数+5) 我的类别是2类,所以是21
    activation=linear
     
    [yolo]
    mask = 6,7,8
    anchors = 10,13,  16,30,  33,23,  30,61,  62,45,  59,119,  116,90,  156,198,  373,326
    classes=2    #修改类别数
    num=9
    jitter=.3
    ignore_thresh = .5
    truth_thresh = 1
    random=1   #若现存较小,可将此项设为0,不改不影响
    
    下载预训练权重:
    wget https://pjreddie.com/media/files/darknet53.conv.74
    
    开始训练:
    训练前可以修改迭代次数:
    vim yolov3-voc.cfg
    

    打开文件内容如下:

    [net]
    # Testing
    #batch=1
    #subdivisions=1
    # Training
    batch=64
    subdivisions=16
    width=416
    height=416
    channels=3
    momentum=0.9
    decay=0.0005
    angle=0
    saturation = 1.5
    exposure = 1.5
    hue=.1
    
    learning_rate=0.001
    burn_in=1000
    max_batches = 50200   #在此处修改最大迭代数,我的设置为20000
    policy=steps
    steps=40000,45000
    scales=.1,.1
    
    然后进行训练:
    ./darknet detector train cfg/voc.data cfg/yolov3-voc.cfg darknet53.conv.74
    

    训练的模型将保存在darknet/backup路径下

    若模型训练一半后中断,想要接着上次的结果继续训练,则可执行如下命令:
    ./darknet detector train cfg/voc.data cfg/yolov3-voc.cfg backup/yolov3-voc_20000.weights -gpus 1
    

    即选用最新保存的模型进行训练,但超过10000次后每10000次才保存一次模型,所以如果上次运行到19999次迭代时中断,则只能从第10000次迭代保存的模型处开始训练,修改保存模型的间隔的方法暂时未找。

    选择图片测试模型:

    测试前先打开yolov3-voc.cfg文件修改测试数据:

    vim yolov3-voc.cfg
    

    然后修改如下:

    [net]
    # Testing
    batch=1      #取消注释这两行
    subdivisions=1
    # Training     #注释这两行
    #batch=64
    #subdivisions=16
    

    测试任意图片:

    ./darknet detector test cfg/voc.data cfg/yolov3-voc.cfg backup/yolov3-voc_20000.weights VOCdevkit/VOC2007/JPEGImages/000123.jpg
    
    注:test是指测试,backup/yolov3-voc_20000.weights是指选取的模型路径,这里我选用了迭代20000次时保存的权重模型,VOCdevkit/VOC2007/JPEGImages/000123.jpg是我选用的测试图片路径,随意选择了一张VOC数据集中的训练图片,如果要像demo一样运行的话可以将要测试的图片保存在data文件夹下。

    到此为止,已经可以用训练了自己的数据集的YOLO权重模型来测试任意一张图片,但这里还有一个问题,就是显示出检测后的图片时无法保存图像,且这个方法每次都只能测试一张图片,如何批量化测试多张图片并保存结果呢?下面将进行介绍。

    批量化测试图片并保存:

    这里需要修改darknet/examples目录下的detector.c文件

    step1:

    在文件开头添加*GetFilename(char *p)函数如下:

    #include "darknet.h"
    
    static int coco_ids[] = {1,2,3,4,5,6,7,8,9,10,11,13,14,15,16,17,18,19,20,21,22,23,24,25,27,28,31,32,33,34,35,36,37,38,39,40,41,42,43,44,46,47,48,49,50,51,52,53,54,55,56,57,58,59,60,61,62,63,64,65,67,70,72,73,74,75,76,77,78,79,80,81,82,84,85,86,87,88,89,90};
    
    char *GetFilename(char *p)     //此函数为在原文件中新加的
    { 
        static char name[20]={""};
        char *q = strrchr(p,'/') + 1;
        strncpy(name,q,6);//注意后面的6,如果你的测试集的图片的名字字符(不包括后缀)是其他长度,请改为你需要的长度(官方的默认的长度是6)
        return name;
    }
    
    
    step2:

    将detector.c继续往下翻,找到test_detector函数修改如下:
    由于修改的地方比较多,不便一一标注,故建议直接复制粘贴替换之,但注意修改里面的三个路径,该路径为你要保存批处理操作后的图片检测结果的文件路径。

    void test_detector(char *datacfg, char *cfgfile, char *weightfile, char *filename, float thresh, float hier_thresh, char *outfile, int fullscreen)
    {
        list *options = read_data_cfg(datacfg);
        char *name_list = option_find_str(options, "names", "data/names.list");
        char **names = get_labels(name_list);
     
        image **alphabet = load_alphabet();
        network *net = load_network(cfgfile, weightfile, 0);
        set_batch_network(net, 1);
        srand(2222222);
        double time;
        char buff[256];
        char *input = buff;
        float nms=.45;
        int i=0;
        while(1){
            if(filename){
                strncpy(input, filename, 256);
                image im = load_image_color(input,0,0);
                image sized = letterbox_image(im, net->w, net->h);
            //image sized = resize_image(im, net->w, net->h);
            //image sized2 = resize_max(im, net->w);
            //image sized = crop_image(sized2, -((net->w - sized2.w)/2), -((net->h - sized2.h)/2), net->w, net->h);
            //resize_network(net, sized.w, sized.h);
                layer l = net->layers[net->n-1];
     
     
                float *X = sized.data;
                time=what_time_is_it_now();
                network_predict(net, X);
                printf("%s: Predicted in %f seconds.\n", input, what_time_is_it_now()-time);
                int nboxes = 0;
                detection *dets = get_network_boxes(net, im.w, im.h, thresh, hier_thresh, 0, 1, &nboxes);
                //printf("%d\n", nboxes);
                //if (nms) do_nms_obj(boxes, probs, l.w*l.h*l.n, l.classes, nms);
                if (nms) do_nms_sort(dets, nboxes, l.classes, nms);
                    draw_detections(im, dets, nboxes, thresh, names, alphabet, l.classes);
                    free_detections(dets, nboxes);
                if(outfile)
                 {
                    save_image(im, outfile);
                 }
                else{
                    save_image(im, "predictions");
    #ifdef OPENCV
                    //cvNamedWindow("predictions", CV_WINDOW_NORMAL); 
                    //if(fullscreen){
                    //cvSetWindowProperty("predictions", CV_WND_PROP_FULLSCREEN, CV_WINDOW_FULLSCREEN);
                   // }
                   // show_image(im, "predictions");
                   // cvWaitKey(0);
                   // cvDestroyAllWindows();
    #endif
                }
                free_image(im);
                free_image(sized);
                if (filename) break;
             } 
            else {
                printf("Enter Image Path: ");
                fflush(stdout);
                input = fgets(input, 256, stdin);
                if(!input) return;
                strtok(input, "\n");
       
                list *plist = get_paths(input);
                char **paths = (char **)list_to_array(plist);
                 printf("Start Testing!\n");
                int m = plist->size;
                if(access("/home/pxt/darknet/data/out",0)==-1)//"/home/FENGsl/darknet/data"修改成自己的路径
                {
                  if (mkdir("/home/pxt/darknet/data/out",0777))//"/home/FENGsl/darknet/data"修改成自己的路径
                   {
                     printf("creat file bag failed!!!");
                   }
                }
                for(i = 0; i < m; ++i){
                 char *path = paths[i];
                 image im = load_image_color(path,0,0);
                 image sized = letterbox_image(im, net->w, net->h);
            //image sized = resize_image(im, net->w, net->h);
            //image sized2 = resize_max(im, net->w);
            //image sized = crop_image(sized2, -((net->w - sized2.w)/2), -((net->h - sized2.h)/2), net->w, net->h);
            //resize_network(net, sized.w, sized.h);
            layer l = net->layers[net->n-1];
     
     
            float *X = sized.data;
            time=what_time_is_it_now();
            network_predict(net, X);
            printf("Try Very Hard:");
            printf("%s: Predicted in %f seconds.\n", path, what_time_is_it_now()-time);
            int nboxes = 0;
            detection *dets = get_network_boxes(net, im.w, im.h, thresh, hier_thresh, 0, 1, &nboxes);
            //printf("%d\n", nboxes);
            //if (nms) do_nms_obj(boxes, probs, l.w*l.h*l.n, l.classes, nms);
            if (nms) do_nms_sort(dets, nboxes, l.classes, nms);
            draw_detections(im, dets, nboxes, thresh, names, alphabet, l.classes);
            free_detections(dets, nboxes);
            if(outfile){
                save_image(im, outfile);
            }
            else{
                 
                 char b[2048];
                sprintf(b,"/home/pxt/darknet/data/out/%s",GetFilename(path));//"/home/FENGsl/darknet/data"修改成自己的路径
                
                save_image(im, b);
                printf("save %s successfully!\n",GetFilename(path));
    #ifdef OPENCV
                //cvNamedWindow("predictions", CV_WINDOW_NORMAL); 
                //if(fullscreen){
                //    cvSetWindowProperty("predictions", CV_WND_PROP_FULLSCREEN, CV_WINDOW_FULLSCREEN);
               // }
               // show_image(im, "predictions");
                //cvWaitKey(0);
                //cvDestroyAllWindows();
    #endif
            }
     
            free_image(im);
            free_image(sized);
            if (filename) break;
            }
          }
        }
    }
    
    step3:

    打开中端进入/darknet目录下,进行重新编译:

    make
    

    若编译通过,则可进行下一步,编译中可能有warning,不用理会,不影响最终结果。

    step4:

    将想要测试的图片路径,放到一个.txt文档中,比如新建一个.txt文档:

    vim test.txt
    

    然后将测试图片的路径放到该文件中。

    step5:

    运行测试:
    本操作是在darknet目录下进行

    ./darknet detector test cfg/voc.data cfg/yolov3-voc.cfg yolov3-voc_final.weights
    

    运行加载模型成功后提示你在中断输入图片路径:

    Loading weights from yolov3-voc_final.weights...Done!
    Enter Image Path: 
    

    将刚才新建的test.txt文件路径输入按回车即可。
    或者也可以将训练时生成的2007_test.txt文件路径输入
    如我的2007_test.txt文件即放在darknet路径下,输入如下:

    Enter Image Path: 2007_test.txt
    

    按回车后即开始批量测试。
    按照前面修改detector.c文件时设置的检测后图片保存路径,我将图片保存在data/out路径下,测试结束后即可在该文件夹下看到保存的图片。

    相关文章

      网友评论

          本文标题:YOLO v3训练自己的数据集(GPU)

          本文链接:https://www.haomeiwen.com/subject/cgbovqtx.html