美文网首页
轻松nnUnet自己的训练集

轻松nnUnet自己的训练集

作者: 杨晓凯 | 来源:发表于2021-11-21 10:53 被阅读0次

    nnUnet介绍

    本文主要解决拿来就用的问题,具体nnUet技术细节可以查看原文,代码,以及一些介绍的文章

    nnUnet Docker

    1. 必须是要linux环境,不推荐windows
    2. 习惯用ubuntu,注意支持的版本最高是20.04。
      推荐用rufus制作U盘启动,选择ubuntu 20.04光盘。部分笔记本安装ubuntu 20.04,网卡驱动无法识别,需要更新内核。下载新版内核保存,用sudo dpkg -i * 安装后重启就可以了。
    3. 安装Nvidia驱动,使用软件和更新->附加驱动,选择高版本驱动即可。不需要安装
      ubuntu-drivers devices
      sudo apt-get remove --purge nvidia*
      sudo apt install nvidia-driver-510
    1. docker和nvidia-docker安装

    使用带有 cuda 环境的 docker 容器,需要安装 nvidia-docker 组件。

    sudo apt-get install curl
    curl -fsSL get.docker.com -o get-docker.sh
    sudo sh get-docker.sh --mirror Aliyun
    sudo systemctl enable docker
    sudo systemctl start docker
    sudo usermod -aG docker $USER
    distribution=$(. /etc/os-release;echo $ID$VERSION_ID) \
       && curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add - \
       && curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
    sudo apt-get update
    sudo apt-get install nvidia-docker2
    sudo systemctl restart docker
    
    1. 测试CUDA是否能够运行
    sudo docker run --rm --gpus all nvidia/cuda:11.0-base nvidia-smi
    
    1. docker nnUnet
      从nnUNet官网下载最新代码 MIC-DKFZ/nnUNet
      进入nnUNet代码文件夹,创建空的Dockerfile文件
      touch Dockerfile
      在Dockerfile中复制如下内容
    FROM nvcr.io/nvidia/pytorch:21.10-py3
    RUN apt-get update && apt-get install -y --no-install-recommends \
        python3-pip \
        python3-setuptools \
        build-essential \
        && \
        apt-get clean && \
        python -m pip install --upgrade pip
    
    WORKDIR /workspace
    COPY ./   /workspace
    RUN pip install pip -U && pip config set global.index-url https://pypi.mirrors.ustc.edu.cn/simple/
    #RUN git clone https://github.com/MIC-DKFZ/nnUNet.git
    #RUN cd nnUNet && pip install -e . 
    RUN pip install -e .
    RUN pip install --upgrade git+https://github.com/FabianIsensee/hiddenlayer.git@more_plotted_details#egg=hiddenlayer
    
    
    #RUN pip install --upgrade git+https://github.com/FabianIsensee/hiddenlayer.git@more_plotted_details#egg=hiddenlayer
    
    ENV nnUNet_raw_data_base="/workspace/data/"
    ENV nnUNet_preprocessed="/workspace/data/nnUNet_preprocessed"
    ENV RESULTS_FOLDER="/workspace/data/RESULTS_FOLDER"
    

    docker build -t nnunet_docker .

    docker container run --ipc=host -it --rm --gpus "device=0" --name nnunet -v $HOME/nnUNet-master/data:/workspace/data nnunet_docker /bin/bash

    docker container run --ipc=host -it --rm --gpus "device=0" --name nnunet -v $HOME/data:/workspace/data nnunet_docker /bin/bash

    docker container run -d --ipc=host -it -p 8889:8888 --gpus "device=0" --name nnunet -v $HOME/work:/workspace/data nnunet_docker /bin/bash -c 'jupyter notebook'

    docker container run -d --ipc=host -it -p 8889:8888 --net nlink --ip 172.18.0.24 --gpus "device=0" --name nnunet -v $HOME/work:/workspace/data nnunet_docker /bin/bash -c 'jupyter notebook --no-browser --ip="*" '

    docker container run -d --name science --ipc=host -it -p 8889:8888 --gpus "device=0" -v $HOME/work:/workspace/data nvcr.io/nvidia/pytorch:21.10-py3 /bin/bash -c 'jupyter notebook'

    nvidia-docker run --rm -it --gpus all nvcr.io/nvidia/pytorch:21.10-py3 /bin/bash

    docker run --ipc=host -it --rm -v $HOME/work:/tf/notebooks -p 8899:8888 tensorflow/tensorflow:latest-jupyter

    docker run --ipc=host -it -d --name tensorflow -v $HOME/work:/tf/notebooks -p 8899:8888 --gpus "device=0" tensorflow/tensorflow:latest-jupyter

    docker run --runtime nvidia --rm -it gcr.io/kaggle-gpu-images/python /bin/bash

    docker run --ipc=host -it -d --name kaggle -v $HOME/work:/tf/notebooks -p 8889:8888 --gpus "device=0" --runtime nvidia - gcr.io/kaggle-gpu-images/python

    本地数据准备

    首先按照官方教程熟悉数据结构和训练流程,按照教程《Example: 3D U-Net training on the Hippocampus dataset》来依样画葫芦
    run a training with the 3d full resolution U-Net on the Hippocampus dataset. See here.

    数据构建

    设置目录Task91_Innerear,包括子目录 'imagesTr', 'labelsTr', 'imagesTs' ,其中labelsTr保存标签文件,imagesTr保存标签对应原始数据,imagesTs保存其他原始数据。
    根据数据结构要求,准备半规管标签数据,要求标签和原始数据的shape保持一致,文件名称按照规范,举例:MR_12345.nii.gz
    用3D Slicer软件查看一下原始文件和标签文件信息包括shape是否一致,标签是否准确。
    主要信息包括shape,Spacing,Origin,Direction。
    nnUnet对于Direction的识别可能会有问题,可以将Origin和Direction信息归零。

    path_ci3d="/home/yakeworld/nnUNet-master/data/Task92_miniinnerear/labelsTr"
    for PatientID in files:    
        ci3dFile=path_ci3dout+PatientID  
        itkimage = sitk.ReadImage(ci3dFile)
        data = sitk.GetArrayFromImage(itkimage)
        lab_img=sitk.GetImageFromArray(data)
        lab_img.SetSpacing(itkimage.GetSpacing())
        #lab_img.SetOrigin(itkimage.GetOrigin())  
        #lab_img.SetOrigin(itkimage.GetOrigin())
        lab_img.SetDirection((-1.0, 0.0, 0.0, 0.0, -1.0, 0.0, 0.0, 0.0, 1.0))   
        sitk.WriteImage(lab_img, './dicom_out/' + PatientID + '.gz')
    

    本地数据训练

    1.数据转换

    nnUNet_convert_decathlon_task -i Task91_innerear
    转换后的数据保存在
    data/nnUNet_raw_data 目录下,主要是原始数据的文件名从MR_12345.nii.gz改为MR_12345_0000.nii.gz形式。
    注:MRI支持多模态数据

    2. 预处理

    You can now run nnU-Nets pipeline configuration (and the preprocessing) with the following line:
    nnUNet_plan_and_preprocess -t 91 --verify_dataset_integrity
    91代表innerear数据任务id

    3. 数据训练

    3.1 3d_fullres

    nnUNet_train 3d_fullres nnUNetTrainerV2 91 4
    nnUNet_train 3d_fullres nnUNetTrainerV2 92 4

    91代表你的任务ID,4代表五折交叉验证(0代表一折)。所有的任务都应当在“4”的情况下,也就是五折交叉验证下进行。

    3.2 3D U-Net cascade

    nnUNet_train 2d nnUNetTrainerV2 91 4 --npz
    nnUNet_train 3d_lowres nnUNetTrainerV2 91 4 --npz
    nnUNet_train 3d_cascade_fullres nnUNetTrainerV2CascadeFullRes 91 4 --npz

    3.3 残差网络

    nnUNet_plan_and_preprocess -t 91
    nnUNet_plan_and_preprocess -t 91 -pl2d None
    nnUNet_plan_and_preprocess -t 91 -pl3d ExperimentPlanner3DFabiansResUNet_v21 -pl2d None
    nnUNet_train 3d_fullres nnUNetTrainerV2_ResencUNet 91 4 -p nnUNetPlans_FabiansResUNet_v2.1

    3.4

    nnUNet_find_best_configuration -m 2d 3d_fullres 3d_lowres 3d_cascade_fullres -t 91 --strict

    3.5

    nnUNet_predict -i nnUNet_raw_data/Task091_innerear/imagesTs -o OUTPUT_FOLDER -t 91 -m CONFIGURATION --save_npz

    nnUNet_predict -i nnUNet_raw_data/Task091_innerear/imagesTs -o OUTPUT_FOLDER -t http://hostname:8888/?token=fb34fb50ebfa53746bd8d511f75d41bab07b60be89777de691 -m 3d_fullres -f 4

    nnUNet_predict -i nnUNet_raw_data/Task091_innerear/imagesTs -o OUTPUT_FOLDER -t 91 -tr nnUNetTrainerV2 -ctr nnUNetTrainerV2_ResencUNet -m 3d_fullres -f 4 -chk model_best

    nnUNet_train 3d_fullres nnUNetTrainerV2 91 3

    nnUNet_predict -i nnUNet_raw_data/Task091_innerear/imagesTs -o OUTPUT_FOLDERMINI -t 92 -m 3d_fullres

    nnUNet_find_best_configuration -m 2d 3d_fullres -t 91

    nnUNet_predict -i nnUNet_raw_data/Task091_innerear/imagesTs -o OUTPUT_FOLDER -t 91 -m 3d_fullres

    半规管分割任务

    1.原始数据+标签
    对原始数据不做处理
    2.预处理数据+标签
    对数据进行预处理,各向同性
    3.crop数据+标签
    按照标签crop原始数据进行训练。好像nnUnet原理就是这么干的。
    效果还是可以的,周边小组织需要清理。

    数据下载

    1.预训练模型
    https://zenodo.org/record/3734294#.YYPv1rq-suU
    2.数据集
    MSD - Google 云端硬盘

    task03: https://pan.baidu.com/s/1CReeZ6m2dl5ryxQtJvn8rA 提取码: hino

    相关文章

      网友评论

          本文标题:轻松nnUnet自己的训练集

          本文链接:https://www.haomeiwen.com/subject/redptrtx.html