Sqoop

作者: 扣篮的左手 | 来源:发表于2018-11-28 23:07 被阅读0次

Sqoop中分为import和export,这个是相对于Hadoop来说的,从RDBMS把数据导入到HDFS,Hive,HBase中是import,反过来是export。
Sqoop工作机制是将导入导出的命令翻译成MR程序来实现。
原有的MR中是TextInputFormat,Sqoop是对InputFormat,OutputFormat进行了定制,DBInputFormat。数据库的读写肯定和文本文件的读写不同。


解压安装包,进入conf目录



这里在配置Hadoop目录的时候,有可能定制后的Hadoop,COMMON和MAPRED两个的目录不同。此处是一样的。
设置好Hadoop和Hive的目录:
HBase这里暂时没有用到,Zookeeper是和HBase相关的。 需要和MySQL之间进行数据传递,需要MySQL的连接驱动。将MySQL的驱动文件放到Sqoop的lib目录下。

测试一下Sqoop能不能使用:
在Sqoop目录下运行已经编辑好的执行脚本:
bin/sqoop list-databases --connect jdbc:mysql://:3306/ --username root --password mysql

可以看到打印出了MySQL中创建的所有的数据库。连接成功,Sqoop的安装正确。

相关文章

网友评论

      本文标题:Sqoop

      本文链接:https://www.haomeiwen.com/subject/pcovbftx.html