今天工作中遇到了这样一个场景，Kudu表（analysis.history_users）中有百万条数据，我要取其中三个字段（id,first_id,sencond_id）缓存在Redis中，结合实际，Redis选用Hash数据类型，其中一个Key为bigdata_users_firstid_id，field为first_id,Value为两字段拼接second_id:id，另外一个Key为bigdata_users_secondid_id,field为secondId,Value为id。
我按照传统思路开始写java API，首先从Kudu表中查询并判断过滤空字段，开始运行。
注意：Kudu表中某些字段为Null，但是Redis的Hash数据类型中数据不能为空。
这种方式估算每秒能插入100条左右，这几百万条数据得插入到猴年马月啊。
开始查资料，发现有一种方式是Shell+redis客户端可以批量插入数据。
技术调研后开始实际操作：
因为Kudu是集成在Impala中的，所以先用Impala-Shell导出数据
因为first_id肯定不为空，所以不用过滤。
将impala-shell查询的结果落到output.txt文件中：
impala-shell -q 'select "hset",id,first_id,second_id from analysis.history_users' -B \
--output_delimiter="\t" -o ~/output.txt
这样出来的结果格式就是hset [字段1] [字段2] [字段3]，中间是[\t]间隔。
这里一定要带上-B --output_delimiter="\t",要不然出来结果就是表的结构。
接下来格式化字段为hset bigdata_users_firstid_id [field] [value],中间是空格间隔:
cat output.txt | awk -F "\t" '{print $1" bigdata_users_firstid_id "$2" "$3":"$4;}' > firstid.txt
这一步一定要做，否则会报解析错误,将unix格式的文件转化为doc格式，因为换行符的差异：
unix2dos firstid.txt
然后执行redis的pipe命令，
cat firstid.txt | redis-cli -h 10.xx.x.x --pipe
结果提示成功（这一步运行大概10秒）:
$ [test02 bigdata 16:18:35] [Wed Jun 12] ~
$ cat firstid.txt | redis-cli -h 10.xx.x.x --pipe
All data transferred. Waiting for the last reply...
Last reply received from server.
errors: 0, replies: 2393459
接下来开始往第二个Key中导入数据:
因为second_id可能为空，且作为Field，所以需要过滤。
拿出数据，并以\t做分割：
impala-shell -q 'select "hset",second_id,id from analysis.history_users
where second_id is not null ' -B --output_delimiter="\t" -o ~/second.txt
格式化字段为hset bigdata_users_secondid_id field value
cat second.txt | awk -F "\t" '{print $1" bigdata_users_secondid_id "$2" "$3;}' > secondid.txt
格式转换：
unix2dos secondid.txt
执行命令：
cat secondid.txt | redis-cli -h 10.xx.x.x --pipe
好了，原来需要好几个小时的任务，亲测不到一分钟就解决了，就是前期调研技术用时比较长。
网友评论