美文网首页
Sqoop 简介

Sqoop 简介

作者: chengruru | 来源:发表于2018-08-11 15:24 被阅读0次
一、Sqoop(SQL to Hadoop)简介

       Sqoop是Hadoop和关系数据库服务器之间传送数据的一种工具。它是用来从关系数据库如:MySQL,Oracle到Hadoop的HDFS,并从Hadoop的文件系统导出数据到关系数据库。

二、Sqoop是怎么样工作的?

下图描述了Sqoop的工作流程:


sqoop工作流程.jpg
三、Sqoop导入

       导入工具从RDBMS到HDFS导入单个表。表中的每一行被视为HDFS的记录。所有记录被存储在文本文件的文本数据或者在Avro和序列文件的二进制数据。

四、Sqoop导出

       导出工具从HDFS导出一组文件到一个RDBMS。作为输入到Sqoop文件包含记录,这被称为在表中的行。那些被读取并解析成一组记录和分隔使用用户指定的分隔符。

相关文章

  • Sqoop简介

    1、什么是Sqoop Apache Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(...

  • Sqoop 简介

    一、Sqoop(SQL to Hadoop)简介 Sqoop是Hadoop和关系数据库服务器之间传送数据的一种工具...

  • Sqoop-client源码

    sqoop-client类 简介 sqoop2的架构是C-S架构的。sqoop2的用户都必须通过sqoop-cli...

  • sqoop之hive数据仓库和oracle数据库数据转换

    1 sqoop简介 1.1 什么是sqoop? sqoop(发音:skup)是一款开源的工具,主要用于在Hadoo...

  • sqoop2安装以及使用demo.md

    Sqoop2的安装 简介 sqoop用于关系型数据库和分布式文件系统之间进行数据迁移。sqoop1.4.x也被称为...

  • Sqoop简介原理安装

    Sqoop简介 Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、post...

  • sqoop export 数据覆盖更新

    一、Sqoop export简介Sqoop export工具被用来将文件集合从HDFS中导入到关系型数据库中。目标...

  • Sqoop简介与原理

    一.Sqoop简介 Apache Sqoop(TM)是一种旨在有效地在Apache Hadoop和诸如关系数据库等...

  • 100-BigData-28Sqoop

    上一篇:099-BigData-27数据仓库 一、Sqoop简介 Apache Sqoop(TM)是一种旨在有效地...

  • 尚硅谷大数据技术之Sqoop

    第1章 Sqoop简介 Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、...

网友评论

      本文标题:Sqoop 简介

      本文链接:https://www.haomeiwen.com/subject/idrdbftx.html