绪

Sqoop：SQL-to-Hadoop

• 连接传统关系型数据库和Hadoop的桥梁
  • 把关系型数据库的数据导入到Hadoop与其相关的系统（如HBase和Hive）中
  • 把数据从Hadoop系统里抽取并导出到关系型数据库里
• 利用MapReduce加快数据传输速度
• 批处理方式进行数据传输

sqoop1架构

sqoop1架构

sqoop1存在的问题
基于命令行的操作方式易于出错，且不安全
数据传输和数据格式是紧耦合的，这使得connector无法支持所有数据格式
安全密钥是暴露出来的，非常不安全
传统数据库的用户名和密码等
Sqoop安装需要root权限
Connector必须符合JDBC模型，并使用通用的JDBC词汇

sqoop2架构

sqoop2架构

sqoop2优势

• 多种交互方式：命令行、Web UI、REST API
• Connector集中化安装：所有Connector安装在Sqoop Server上
• 权限管理机制：可配置管理员、使用者等角色
• Connector规范化
  不再包含数据传输，格式转换、与Hive、Hbase交互等功能
  仅负责数据读写

sqoop2比sqoop1的改进

引入sqoop server，集中化管理Connector等
多种访问方式：CLI，Web UI，REST API
引入基于角色的安全机制