美文网首页
hive3.1.2安装(基于mysql存储元数据)

hive3.1.2安装(基于mysql存储元数据)

作者: 另存為 | 来源:发表于2021-06-15 08:41 被阅读0次

    1.下载

    wget http://archive.apache.org/dist/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz
    

    2.解压

    tar -zxvf apache-hive-3.1.2-bin.tar.gz
    

    3.配置环境变量

    vim /etc/profile
    
    export HIVE_HOME=/cdc/apache-hive-3.1.2-bin
    export PATH=$JAVA_HOME/bin:$PATH:$HADOOP_HOME/bin:$HIVE_HOME/bin
    source /etc/profile
    

    4. 安装

    4.1 修改hive-config.sh

    vim /bin/hive-config.sh
    
    export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.272.b10-1.el7_9.x86_64
    export HIVE_HOME=/cdc/apache-hive-3.1.2-bin
    export HADOOP_HOME=/cdc/hadoop-3.3.0
    
    mv  hive-env.sh.template  hive-env.sh
    mv  hive-default.xml.template  hive-site.xml(或重新创建touch hive-site.xml)
    

    4.2上传jar包

    上传mysql-connector-java-5.1.10.jar到$HIVE_HOME/lib

    wget https://repo1.maven.org/maven2/mysql/mysql-connector-java/5.1.34/mysql-connector-java-5.1.34.jar
    

    4.3 修改hive-env.sh

    vim hive-env.sh
    
    export HADOOP_HOME=/cdc/hadoop-3.3.0
    export HIVE_CONF_DIR=/cdc/apache-hive-3.1.2-bin/conf/
    

    4.4 修改hive-site.xml

    vim hive-site.xml
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://主机名:3306/mysql自动为hive创建的元数据库名?createDatabaseIfNotExist=true</value>
    </property> 
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>eisoo.com123</value>
    </property>
    <!-- 指定存储元数据要连接的地址 -->
    <property>
        <name>hive.metastore.uris</name>
        <value>thrift://dhf4:9083</value>
    </property>
    <!-- 指定 hiveserver2 连接的 host -->
    <property>
        <name>hive.server2.thrift.bind.host</name>
        <value>主机名</value>
    </property>
    <!-- 指定 hiveserver2 连接的端口号 -->
    <property>
        <name>hive.server2.thrift.port</name>
        <value>10000</value>
    </property>
    

    4.5 初始化mysql数据库

    schematool -dbType mysql -initSchema
    
    hive --service metastore
    

    4.6启动hive服务端

    启动较慢,netstat -nultp|grep 10000等待有10000端口监听即启动成功

    ./hive --service hiveserver2
    

    4.7启动beeline 客户端

    ./beeline -u jdbc:hive2://主机名:10000 -n root
    

    5.测试

    image

    出错了!将hive设置成本地模式来执行任务。

    image

    Mysql中为hive创建的元数据库及数据表存放在hdfs上的位置

    image

    到hdfs上查看数据

    image

    关注公众号 HEY DATA,添加作者微信,一起讨论更多。

    相关文章

      网友评论

          本文标题:hive3.1.2安装(基于mysql存储元数据)

          本文链接:https://www.haomeiwen.com/subject/dmzneltx.html