美文网首页
数据训练计划 与Pipeline

数据训练计划 与Pipeline

作者: fangxu622 | 来源:发表于2017-12-25 11:02 被阅读131次

关于遥感影像分类 深度学习的两大方案

第一大方案:面向对象 ,基于深度学习算法

方法优点:训练简单,可直接套用cifar系列 imagenet 分类方法与代码
方法缺点:主要依赖于分割的精度,步骤繁琐
应用场景:Esri 2017用户大会上简译已经给出应用产经~适合在一幅图像自己勾选训练数据于测试,场景只限于此
无法做大规模的训练与应用~因为该方法主要依赖于分割精度,在分割精度达到的前提下 ~用传统的机器学习方法(如SVM 贝叶斯 等)也能到较好的效果较好。(未作具体对比实验,但是脑袋是个好东西)
评价:现在是深度学习的潮流,该方法 能达到炫技的效果 以及一些噱头。虽然这么说,但是该方法也还是那么一丢丢的应用价值

两种pipeline ,主要在是数据的导入形式不太一样。

pipeline one :
1.导出地理国情规则样本呢~得到图像与标签,两张图片的 宽 高相同,且自身宽高也相同,图像4通道 16bit,标签单通道

  1. 4波段 16bit 转 3波段8bit ,线性拉伸算法
  2. 标签与图像 合成 一张图片,即label 与 img 的对应元素一一相乘 (label 值为0,1)
    如图


    原图
    标签
    合成图

pipine two:

1.导出面向对象的地理国情样本呢~得到图像与标签,图像4通道 16bit,标签为对象的shp 文件
2 4波段 16bit 转 3波段8bit ,线性拉伸算法
3 shp 去裁剪影像得到pipeline one 合成图一样的结果


原图
结果

两种pipeline 殊途同归

第4步:
数据组织形式参照 cifar imagenet 数据集组织形式

第5步:

制作LMDB ,caffe 现成工具

第6步:训练两个网络(时间犹豫的华在训练其他网络)

alexnet,vgg-16

在官网模型上进行finetune

第二大 语义分割方案

利用地理国情数据 一步到位,就是商汤的方案,也是现在目前深度学习在目标识别与检测 的发展趋势,未来的终极的目标便是对每一个像素精确分类

商谈 其实在提交的测试报告中也已经透露了他所有的网络~主要是主要res_net 系列 inception系列等google 提出的深度网络做试验与优化

pipeline one :

相关文章

  • 数据训练计划 与Pipeline

    关于遥感影像分类 深度学习的两大方案 第一大方案:面向对象 ,基于深度学习算法 方法优点:训练简单,可直接套用ci...

  • 016 pipeline管道

    #pipeline,数据处理管道 PUT _ingest/pipeline/blog_pipeline { "d...

  • Learning Spark [8] - MLlib库 - 线性

    机器学习数据管道(Machine Learning Pipeline) Pipeline的概念,在很多机器学习的模...

  • Elasticsearch Ingest Pipeline

    Ingest Pipeline 用于预处理数据,pipeline是一系列处理管道,一系列的processors,先...

  • assignment 1

    学习目标 知晓图像处理的基本流程(imagine classification pipeline ) 训练集,验证...

  • mongo聚合(Aggregation)

    前言 首先,也是先上官方文档下面一张图来看pipeline,pipeline是基于数据处理的聚合管道 特例 突然发...

  • Salesforce销售云 | 拓宽销售漏斗(Sales Pip

    从Sales Pipeline谈起 Sales Pipeline与现实生活极其相似。好的时候,潜在客户不断涌入,销...

  • 线性回归

    数据集分为训练数据和测试数据,训练数据用来训练模型参数,测试数据用来检验该模型的准确程度。 损失函数预测值与真实值...

  • Python金融学第10课----pipeline的使用

    本文主要讲一下pipeline的使用方法,pipeline类似于机器学习当中的管道,数据经过这个管道的处理之后,就...

  • 2.封装kNN算法之数据分割

    训练数据集与测试数据集 当我们拿到一组数据之后,通常我们需要把数据分割成两部分,即训练数据集和测试数据集。训练数据...

网友评论

      本文标题:数据训练计划 与Pipeline

      本文链接:https://www.haomeiwen.com/subject/wzgxgxtx.html