本文主要讲解利用python 生成hive数据，主要包括python数据生成，数据上传hdfs，hive建库建表，hive导入数据，hive验证数据的正确性。

hive建库建表

hive调优实战系列文章使用学生信息表和选课表来作为数据支撑，下面是这两张表的建表语句。

create database test;

create table if not exists student_txt(
`no` string comment '学号',
`name` string comment '姓名',
`birth` string comment '生日',
`age` string comment '年龄',
`sex` string comment '性别')
row format delimited
fields terminated by '\t';


create table if not exists course_txt(
`no` string comment '学号',
`course` string comment '课程名',
`stats_dt` string comment '操作时间'
)
row format delimited
fields terminated by '\t';

python数据生成

我们通过一下代码生成测试数据：

#!/usr/bin/env python
# -*- encoding: utf-8 -*-
"""
@File : init_hive_data.py    
@Description : None
@Version : 1.0
@Modify Time : 2020/6/17 21:40
"""
import hashlib
import random
import string
import time
import uuid
import sys
reload(sys)
sys.setdefaultencoding('utf-8')


def gen_uuid():
    return str(uuid.uuid1())


def random_date(year1=1992, year2=2000):
    a1 = (year1, 1, 1, 0, 0, 0, 0, 0, 0)
    a2 = (year2, 12, 31, 23, 59, 59, 0, 0, 0)

    start = time.mktime(a1)
    end = time.mktime(a2)

    t = random.randint(start, end)
    date_tuple = time.localtime(t)
    date = time.strftime("%Y-%m-%d", date_tuple)
    return date


def random_int():
    a = [1, 2, 3, 4, 5, 6, 8, 10, 12]
    if a[random.randint(1, 7)] % 2 == 0:
        return random.randint(60, 100)
    else:
        return random.randint(0, 60)


def random_course():
    return random.sample([u'数学', u'数学', u'数学', u'数学', u'数学', u'语文', u'英语', u'化学', u'物理', u'生物'],
                         random.randint(1, 5))


last_name_list = [u"李", u"王", u"张", u"刘", u"陈", u"杨", u"赵", u"黄", u"周", u"吴", u"徐", u"孙", u"胡", u"朱",
                  u"高", u"林", u"何", u"郭", u"马", u"罗", u"梁", u"宋", u"郑", u"谢", u"韩", u"唐", u"冯", u"于",
                  u"董", u"萧", u"程", u"曹", u"袁", u"邓", u"许", u"傅", u"沈", u"曾", u"彭", u"吕", u"苏", u"卢",
                  u"蒋", u"蔡", u"贾", u"丁", u"魏", u"薛", u"叶", u"阎", u"余", u"潘", u"杜", u"戴", u"夏", u"钟",
                  u"汪", u"田", u"任", u"姜", u"范", u"方", u"石", u"姚", u"谭", u"廖", u"邹", u"熊", u"金", u"陆",
                  u"郝", u"孔", u"白", u"崔", u"康", u"毛", u"邱", u"秦", u"江", u"史", u"顾", u"侯", u"邵", u"孟",
                  u"龙", u"万", u"段", u"漕", u"钱", u"汤", u"尹", u"黎", u"易", u"常", u"武", u"乔", u"贺", u"赖",
                  u"龚", u"文"]

first_name_list = [u'的', u'一', u'是', u'了', u'我', u'不', u'人', u'在', u'他', u'有', u'这', u'个', u'上', u'们', u'来', u'到', u'时',
                   u'大', u'地', u'为',
                   u'子', u'中', u'你', u'说', u'生', u'国', u'年', u'着', u'就', u'那', u'和', u'要', u'她', u'出', u'也', u'得', u'里',
                   u'后', u'自', u'以',
                   u'会', u'家', u'可', u'下', u'而', u'过', u'天', u'去', u'能', u'对', u'小', u'多', u'然', u'于', u'心', u'学', u'么',
                   u'之', u'都', u'好',
                   u'看', u'起', u'发', u'当', u'没', u'成', u'只', u'如', u'事', u'把', u'还', u'用', u'第', u'样', u'道', u'想', u'作',
                   u'种', u'开', u'美',
                   u'总', u'从', u'无', u'情', u'己', u'面', u'最', u'女', u'但', u'现', u'前', u'些', u'所', u'同', u'日', u'手', u'又',
                   u'行', u'意', u'动',
                   u'方', u'期', u'它', u'头', u'经', u'长', u'儿', u'回', u'位', u'分', u'爱', u'老', u'因', u'很', u'给', u'名', u'法',
                   u'间', u'斯', u'知',
                   u'世', u'什', u'两', u'次', u'使', u'身', u'者', u'被', u'高', u'已', u'亲', u'其', u'进', u'此', u'话', u'常', u'与',
                   u'活', u'正', u'感',
                   u'见', u'明', u'问', u'力', u'理', u'尔', u'点', u'文', u'几', u'定', u'本', u'公', u'特', u'做', u'外', u'孩', u'相',
                   u'西', u'果', u'走',
                   u'将', u'月', u'十', u'实', u'向', u'声', u'车', u'全', u'信', u'重', u'三', u'机', u'工', u'物', u'气', u'每', u'并',
                   u'别', u'真', u'打',
                   u'太', u'新', u'比', u'才', u'便', u'夫', u'再', u'书', u'部', u'水', u'像', u'眼', u'等', u'体', u'却', u'加', u'电',
                   u'主', u'界', u'门',
                   u'利', u'海', u'受', u'听', u'表', u'德', u'少', u'克', u'代', u'员', u'许', u'稜', u'先', u'口', u'由', u'死', u'安',
                   u'写', u'性', u'马',
                   u'光', u'白', u'或', u'住', u'难', u'望', u'教', u'命', u'花', u'结', u'乐', u'色', u'更', u'拉', u'东', u'神', u'记',
                   u'处', u'让', u'母',
                   u'父', u'应', u'直', u'字', u'场', u'平', u'报', u'友', u'关', u'放', u'至', u'张', u'认', u'接', u'告', u'入', u'笑',
                   u'内', u'英', u'军',
                   u'候', u'民', u'岁', u'往', u'何', u'度', u'山', u'觉', u'路', u'带', u'万', u'男', u'边', u'风', u'解', u'叫', u'任',
                   u'金', u'快', u'原',
                   u'吃', u'妈', u'变', u'通', u'师', u'立', u'象', u'数', u'四', u'失', u'满', u'战', u'远', u'格', u'士', u'音', u'轻',
                   u'目', u'条', u'呢',
                   u'病', u'始', u'达', u'深', u'完', u'今', u'提', u'求', u'清', u'王', u'化', u'空', u'业', u'思', u'切', u'怎', u'非',
                   u'找', u'片', u'罗',
                   u'钱', u'紶', u'吗', u'语', u'元', u'喜', u'曾', u'离', u'飞', u'科', u'言', u'干', u'流', u'欢', u'约', u'各', u'即',
                   u'指', u'合', u'反',
                   u'题', u'必', u'该', u'论', u'交', u'终', u'林', u'请', u'医', u'晚', u'制', u'球', u'决', u'窢', u'传', u'画', u'保',
                   u'读', u'运', u'及',
                   u'则', u'房', u'早', u'院', u'量', u'苦', u'火', u'布', u'品', u'近', u'坐', u'产', u'答', u'星', u'精', u'视', u'五',
                   u'连', u'司', u'巴',
                   u'奇', u'管', u'类', u'未', u'朋', u'且', u'婚', u'台', u'夜', u'青', u'北', u'队', u'久', u'乎', u'越', u'观', u'落',
                   u'尽', u'形', u'影',
                   u'红', u'爸', u'百', u'令', u'周', u'吧', u'识', u'步', u'希', u'亚', u'术', u'留', u'市', u'半', u'热', u'送', u'兴',
                   u'造', u'谈', u'容',
                   u'极', u'随', u'演', u'收', u'首', u'根', u'讲', u'整', u'式', u'取', u'照', u'办', u'强', u'石', u'古', u'华', u'諣',
                   u'拿', u'计', u'您',
                   u'装', u'似', u'足', u'双', u'妻', u'尼', u'转', u'诉', u'米', u'称', u'丽', u'客', u'南', u'领', u'节', u'衣', u'站',
                   u'黑', u'刻', u'统',
                   u'断', u'福', u'城', u'故', u'历', u'惊', u'脸', u'选', u'包', u'紧', u'争', u'另', u'建', u'维', u'绝', u'树', u'系',
                   u'伤', u'示', u'愿',
                   u'持', u'千', u'史', u'谁', u'准', u'联', u'妇', u'纪', u'基', u'买', u'志', u'静', u'阿', u'诗', u'独', u'复', u'痛',
                   u'消', u'社', u'算',
                   u'义', u'竟', u'确', u'酒', u'需', u'单', u'治', u'卡', u'幸', u'兰', u'念', u'举', u'仅', u'钟', u'怕', u'共', u'毛',
                   u'句', u'息', u'功',
                   u'官', u'待', u'究', u'跟', u'穿', u'室', u'易', u'游', u'程', u'号', u'居', u'考', u'突', u'皮', u'哪', u'费', u'倒',
                   u'价', u'图', u'具',
                   u'刚', u'脑', u'永', u'歌', u'响', u'商', u'礼', u'细', u'专', u'黄', u'块', u'脚', u'味', u'灵', u'改', u'据', u'般',
                   u'破', u'引', u'食',
                   u'仍', u'存', u'众', u'注', u'笔', u'甚', u'某', u'沉', u'血', u'备', u'习', u'校', u'默', u'务', u'土', u'微', u'娘',
                   u'须', u'试', u'怀',
                   u'料', u'调', u'广', u'蜖', u'苏', u'显', u'赛', u'查', u'密', u'议', u'底', u'列', u'富', u'梦', u'错', u'座', u'参',
                   u'八', u'除', u'跑',
                   u'亮', u'假', u'印', u'设', u'线', u'温', u'虽', u'掉', u'京', u'初', u'养', u'香', u'停', u'际', u'致', u'阳', u'纸',
                   u'李', u'纳', u'验',
                   u'助', u'激', u'够', u'严', u'证', u'帝', u'饭', u'忘', u'趣', u'支', u'春', u'集', u'丈', u'木', u'研', u'班', u'普',
                   u'导', u'顿', u'睡',
                   u'展', u'跳', u'获', u'艺', u'六', u'波', u'察', u'群', u'皇', u'段', u'急', u'庭', u'创', u'区', u'奥', u'器', u'谢',
                   u'弟', u'店', u'否',
                   u'害', u'草', u'排', u'背', u'止', u'组', u'州', u'朝', u'封', u'睛', u'板', u'角', u'况', u'曲', u'馆', u'育', u'忙',
                   u'质', u'河', u'续',
                   u'哥', u'呼', u'若', u'推', u'境', u'遇', u'雨', u'标', u'姐', u'充', u'围', u'案', u'伦', u'护', u'冷', u'警', u'贝',
                   u'著', u'雪', u'索',
                   u'剧', u'啊', u'船', u'险', u'烟', u'依', u'斗', u'值', u'帮', u'汉', u'慢', u'佛', u'肯', u'闻', u'唱', u'沙', u'局',
                   u'伯', u'族', u'低',
                   u'玩', u'资', u'屋', u'击', u'速', u'顾', u'泪', u'洲', u'团', u'圣', u'旁', u'堂', u'兵', u'七', u'露', u'园', u'牛',
                   u'哭', u'旅', u'街',
                   u'劳', u'型', u'烈', u'姑', u'陈', u'莫', u'鱼', u'异', u'抱', u'宝', u'权', u'鲁', u'简', u'态', u'级', u'票', u'怪',
                   u'寻', u'杀', u'律',
                   u'胜', u'份', u'汽', u'右', u'洋', u'范', u'床', u'舞', u'秘', u'午', u'登', u'楼', u'贵', u'吸', u'责', u'例', u'追',
                   u'较', u'职', u'属',
                   u'渐', u'左', u'录', u'丝', u'牙', u'党', u'继', u'托', u'赶', u'章', u'智', u'冲', u'叶', u'胡', u'吉', u'卖', u'坚',
                   u'喝', u'肉', u'遗',
                   u'救', u'修', u'松', u'临', u'藏', u'担', u'戏', u'善', u'卫', u'药', u'悲', u'敢', u'靠', u'伊', u'村', u'戴', u'词',
                   u'森', u'耳', u'差',
                   u'短', u'祖', u'云', u'规', u'窗', u'散', u'迷', u'油', u'旧', u'适', u'乡', u'架', u'恩', u'投', u'弹', u'铁', u'博',
                   u'雷', u'府', u'压',
                   u'超', u'负', u'勒', u'杂', u'醒', u'洗', u'采', u'毫', u'嘴', u'毕', u'九', u'冰', u'既', u'状', u'乱', u'景', u'席',
                   u'珍', u'童', u'顶',
                   u'派', u'素', u'脱', u'农', u'疑', u'练', u'野', u'按', u'犯', u'拍', u'征', u'坏', u'骨', u'余', u'承', u'置', u'臓',
                   u'彩', u'灯', u'巨',
                   u'琴', u'免', u'环', u'姆', u'暗', u'换', u'技', u'翻', u'束', u'增', u'忍', u'餐', u'洛', u'塞', u'缺', u'忆', u'判',
                   u'欧', u'层', u'付',
                   u'阵', u'玛', u'批', u'岛', u'项', u'狗', u'休', u'懂', u'武', u'革', u'良', u'恶', u'恋', u'委', u'拥', u'娜', u'妙',
                   u'探', u'呀', u'营',
                   u'退', u'摇', u'弄', u'桌', u'熟', u'诺', u'宣', u'银', u'势', u'奖', u'宫', u'忽', u'套', u'康', u'供', u'优', u'课',
                   u'鸟', u'喊', u'降',
                   u'夏', u'困', u'刘', u'罪', u'亡', u'鞋', u'健', u'模', u'败', u'伴', u'守', u'挥', u'鲜', u'财', u'孤', u'枪', u'禁',
                   u'恐', u'伙', u'杰',
                   u'迹', u'妹', u'藸', u'遍', u'盖', u'副', u'坦', u'牌', u'江', u'顺', u'秋', u'萨', u'菜', u'划', u'授', u'归', u'浪',
                   u'听', u'凡', u'预',
                   u'奶', u'雄', u'升', u'碃', u'编', u'典', u'袋', u'莱', u'含', u'盛', u'济', u'蒙', u'棋', u'端', u'腿', u'招', u'释',
                   u'介', u'烧', u'误',
                   u'乾', u'坤']


def random_last_name():
    return random.sample(last_name_list, 1)[0]


def random_first_name():
    return random.sample(first_name_list, 1)[0] + random.sample(first_name_list, 1)[0]


def random_sex():
    return random.sample([u'男', u'女'], 1)[0]


if __name__ == '__main__':
    for j in xrange(100):
        student_fp = open('./student/' + 'student' + str(j) + '.txt', mode='wr+')
        course_fp = open('./course/' + 'course' + str(j) + '.txt', mode='wr+')
        print j
        for i in xrange(100000):
            no = gen_id()
            last_name = random_last_name()
            first_name = random_first_name()
            name = last_name + first_name
            birth = random_date()
            age = 2020 - int(birth.split('-')[0])
            sex = random_sex()
            student_line = "{0}\t{1}\t{2}\t{3}\t{4}\n".format(no, name, birth, str(age), str(sex))
            student_fp.write(student_line)

            course_set = set(random_course())
            for course in course_set:
                score = random_int()
                stats_dt = random_date(year1=2019, year2=2020)
                course_line = "{0}\t{1}\t{2}\t{3}\n".format(no, course, score, stats_dt)
                course_fp.write(course_line)
        student_fp.flush()
        student_fp.close()
        course_fp.flush()
        course_fp.close()

数据上传hdfs

用hdfs 命令将数据上传hdfs:

hdfs dfs -put student/ /tmp/hongsuo_liu/data/
hdfs dfs -put course/ /tmp/hongsuo_liu/data/

hive导入数据

LOAD DATA INPATH "/tmp/hongsuo_liu/data/student/" INTO TABLE student_txt; 
LOAD DATA INPATH "/tmp/hongsuo_liu/data/course/" INTO TABLE course_txt; 

hive数据验证

student_txt数据截图
course_txt数据截图
course_txt数据量.png student_txt表数据量.png

至此我们的数据已全部准备完成。