Sqoop-关系型数据的收集

背景

• 非关系型数据库的收集 自然就有非关系型数据的收集
• 非关系型数据的收集比如为了使mysql \oracle 里面的数据利用大数据技术进行分析和处理

sqoop 应用在那些方面

• 数据迁移
• 可视化分析结果
• 数据增量导入

sqoop 的基本思想和特点

• 性能高：因为sqoop是采用mepreduce 进行数据的导入导出的
• 自动类型转化
• 自动传播元信息

sqoop

sqoop目前存在两个版本(完全不兼容)

sqoop1 (1.4.x)

• 是一个客户端，不用启动任何服务即可使用
• 其实就是一个mepreduce作业

sqoop2(1.99.x)

• 避免了一些弊端，引入了sqoop sercer
• sqoop 2 的组件包括
  1、sqoop client
  2、sqoop server