美文网首页
sqoop的整体架构

sqoop的整体架构

作者: zjlearn | 来源:发表于2016-06-16 10:10 被阅读537次

    sqoop1与sqoop2的区别

    sqoop1提供用户命令行的方式使用数据迁移功能对数据进行迁移。目前提供的功能由关系型数据库,Hbase, hive, HDFS之间的数据迁移。Sqoop1的缺点是:

    • 基于命令行的操作方式,易出错,且不安全。
    • 数据传输和数据格式是紧耦合的,这使得connector无法支持所有的数据格式
    • 用户名和密码暴漏出来
    • sqoop安装需要root权限

    sqoop2在sqoop1的基础之上

    • 对迁移功能的组件进行了更细致的划分。
    • 引入sqoop server,集中化管理Connector等
    • 多种访问方式:CLI,Web UI,REST API
    • 引入基于角色的安全机制
      sqoop2相比sqoop1来说更容易扩展,更易于使用, 更安全。

    sqoop1的整体架构

    sqoop.png

    sqoop2的架构

    sqoop2.png

    相关文章

      网友评论

          本文标题:sqoop的整体架构

          本文链接:https://www.haomeiwen.com/subject/qxsmdttx.html