美文网首页大数据大数据
hadoop(14)--Hive入门

hadoop(14)--Hive入门

作者: ROCK_杰哥 | 来源:发表于2018-04-27 00:20 被阅读112次

    前面13篇主要是HDFS,MR以及Yarn,这三个也是hadoop中最重要的,接下来分享几个工具,今天这个hive其实就是一个工具,什么工具呢?是将sql语句转换成MR程序的工具,意思就是以后统计,分析的时候可以不用写MR了,可以写sql语句去统计,就像写mysql的sql一样,那么这样就很方便了,java程序员对于统计sql来说那是手到擒来。
    话不多说,开始开车
    首先将之前搭建的分布式集群启动,这个是前提,下载hive安装包hive官网去下载就行,解压

    tar -zxvf apache-hive-2.1.1-bin.tar.gz -C app/
    

    解压好之后,进入到bin目录,运行

    ./hive
    

    启动之后,如下图:


    image.png

    如果报错的话,大部分原因是因为版本与hadoop不匹配,那怎么知道是否匹配呢?


    image.png
    官网上说的很清楚,虽然英语不行行,但是看着还是么问题的
    好了,来试试sql,看有没有作用
    create table t1(id int,name string);
    
    image.png image.png

    这个怎么保存的呢?是mysql吗?不是,是derby
    他在哪保存着呢?一起来看吧


    image.png

    这个就是hive存储元数据的地方
    但是我们习惯mysql呀,这个能不能将元数据存储在mysql呢?当然可以
    修改配置

    [songlj@my02 conf]$ cp hive-default.xml.template hive-site.xml
    [songlj@my02 conf]$ vi hive-site.xml 
    

    hive-site.xml中的内容如下:

    <configuration>
    <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://my02:3306/hive?createDatabaseIfNotExist=true</value>
    </property>
    <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
    </property>
    <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
    </property>
    <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>root</value>
    </property>
    </configuration>
    

    并且将mysql的驱动包当道bin下
    再次启动


    image.png

    创建好了,看一下,是不是创建到mysql上了


    image.png

    入门简单吧?

    好了,又得说望指正,不吝赐教!

    相关文章

      网友评论

        本文标题:hadoop(14)--Hive入门

        本文链接:https://www.haomeiwen.com/subject/fpqvlftx.html