启动Hadoop各个进程并测试

启动各个进程

hive2.png
查看hdfs和resourcemanager的web管理界面

hive3.png
hive4.png
向Hadoop上传文件进行测试

[wulei@bigdata-00 hadoop-2.5.0]$ bin/hdfs dfs -ls /
[wulei@bigdata-00 hadoop-2.5.0]$ bin/hdfs dfs -mkdir /test
[wulei@bigdata-00 hadoop-2.5.0]$ bin/hdfs dfs -put /etc/hosts /test
[wulei@bigdata-00 hadoop-2.5.0]$ bin/hdfs dfs -ls /test
Found 1 items
-rw-r--r-- 3 wulei supergroup 237 2016-10-22 17:22 /test/hosts

安装Hive

解压Hive

[wulei@bigdata-00 softwares]$ tar zxf apache-hive-0.13.1-bin.tar.gz -C /opt/modules/

配置Hive。需要把conf目录下的模板配置文件hive-env.sh.template拷贝并重命名为hive-env.sh。并修改文件中的下面两行，指定hadoop的目录和加载配置文件的目录。

HADOOP_HOME=/opt/modules/hadoop-2.5.0
export HIVE_CONF_DIR=/opt/modules/hive-0.13.1/conf

在hdfs上创建数据仓库目录和临时存储文件的目录，并且赋予写的权限

[wulei@bigdata-00 hadoop-2.5.0]$ bin/hdfs dfs -mkdir /tmp
[wulei@bigdata-00 hadoop-2.5.0]$ bin/hdfs dfs -mkdir -p /user/hive/warehouse
[wulei@bigdata-00 hadoop-2.5.0]$ bin/hdfs dfs -chmod g+w /tmp
[wulei@bigdata-00 hadoop-2.5.0]$ bin/hdfs dfs -chmod g+w /user/hive/warehouse

进入交互式命令，并简单测试。

hive5.png

安装Mysql并与Hive建立连接

由于hive默认的derby数据库不能多实例(不能多个客户端)，所以选择Mysql来存储Hive中的元数据。

yum安装mysql-server并启动进程

[wulei@bigdata-00 ~]$ yum install -y mysql-server
[wulei@bigdata-00 ~]$ sudo /etc/init.d/mysqld start
[wulei@bigdata-00 ~]$ /etc/init.d/mysqld status
mysqld (pid 26011) is running...

设置mysql登陆密码

[wulei@bigdata-00 ~]$ mysqladmin -u root password '123456'

进入mysql设置用户连接权限,最后重启服务。

[wulei@bigdata-00 ~]$ mysql -u root -p
Enter password:
mysql> use mysql;
mysql> grant all privileges on *.* to 'root'@'%' identified by '123456' with grant option;
mysql> delete from user where user='root' and host'127.0.0.1';
....
mysql> flush privileges;

Hive配置文件修改
需要在conf目录下手动创建hive-site.xml文件。

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
      <name>javax.jdo.option.ConnectionURL</name>
      <value>jdbc:mysql://localhost:3306/metasotre?createDatabaseIfNotExist=true</value>
</property>
<property>
      <name>javax.jdo.option.ConnectionDriverName</name>
      <value>com.mysql.jdbc.Driver</value>
</property>
<property>
      <name>javax.jdo.option.ConnectionUserName</name>
      <value>root</value>
</property>
<property>
      <name>javax.jdo.option.ConnectionPassword</name>
      <value>123456</value>
</property>
</configuration>

拷贝mysql驱动包
把mysql驱动jar包放到Hive安装目录的lib下

[wulei@bigdata-00 hive-0.13.1]$ cp /opt/softwares/mysql-connector-java-5.1.27-bin.jar /opt/modules/hive-0.13.1/lib/

连接测试
在成功建立连接后，进入mysql数据库，会发现多了一个metastore数据库，这个数据库就是用来存储hive的元数据信息。

hive6.png

其他常用配置

在hive-site.xml中配置cli命令显示数据库名称和列标题名。

<property>
        <name>hive.cli.print.header</name>
        <value>true</value>
</property>
<property>
        <name>hive.cli.print.current.db</name>
        <value>true</value>
</property>

hive默认的日志目录是在linux本地目录/tmp/user_name中，为了方便管理，修改日志存放的目录。把conf目录下面的hive-log4j.properties.template重命名为hive-log4j.properties，并修改hive.log.dir的值。

hive.log.threshold=ALL
hive.root.logger=INFO,DRFA
hive.log.dir=/opt/modules/hive-0.13.1/logs
hive.log.file=hive.log

8.使用HQL

创建数据库以及相关的操作。创建完一个数据库后会发现一个数据库对应hadoop上的一个目录。

hive (default)> show databases;
hive (default)> create database test_db;
hive (default)> use test_db;
hive (test_db)> show tables;

hive7.png

创建表并向表中导入数据

hive (test_db)> create table student(id int,name string) row format delimited fields terminated by '\t';
hive (test_db)> load data local inpath '/opt/datas/student.txt' into table student;

其中row format delimited fields terminated by '\t'是用来指定表中列与列之间的分隔符。