美文网首页
hadoop入门系列--从本地把数据导入Hbase

hadoop入门系列--从本地把数据导入Hbase

作者: 微生活_小阿楠 | 来源:发表于2020-04-14 17:17 被阅读0次

传送门
hadoop入门系列--hbase基础知识点
hadoop入门系列--从本地把数据导入Hbase
hadoop入门系列--用java代码实现创建hbase表
hadoop入门系列--使用hbase过滤器(一篇全掌握)
传送门

从本地把数据导入Hbase中

步骤一、先启动hadoop与hbase

步骤二、在hbase创建jobs表和一个叫info的列族

create 'jobs','info'

步骤三、把本地csv文件上传到hdfs中

hdfs dfs -put ./jobs.txt /user/jobs.txt

步骤四、在本地写导入命令

//说明:
//使用importTsv功能可以将csv格式的文件导入到HBase中,其格式如下:
// hbase [类] [分隔符] [行键,列族] [表] [导入文件]
个人总结:数据都是要指定rowkey的(不能重复),会默认把你第一个作为rowkey。
所以当遇到你第一个字段是会重复的,你就得自己额外加rowkey(字段就直接从第二个开始写,因为第一个变成rowkey了)
主要得看你数据是怎么样的!!!
比如:
小明  英语  90  
小明  数学   99
小红  英语   88

1 小明  英语  90  
2 小明  数学   99
3 小红  英语   88

hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.separator="," \
-Dimporttsv.columns=HBASE_ROW_KEY,info:company_name jobs /user/jobs.txt

步骤五、去hbase上查看是否导入成功

scan ‘表’

truncate '表' 清空数据
count '表' 统计数据

补充说明:如果在scan表时,没有导入成功。把hbase的lib文件下所有jar包上传到hdfs中(注意,路径要一模一样(如:usr/local/hbase/lib))

相关文章

网友评论

      本文标题:hadoop入门系列--从本地把数据导入Hbase

      本文链接:https://www.haomeiwen.com/subject/ngqtmhtx.html