引入Hive的原因
使用SQL操作HDFS上的数据
Hive内部是什么
Hive二进制分支版本包括三部分
- Java代码本身（在$HIVE_HOME/lib目录）
- 服务可执行文件（在$HIVE_HOEM/bin目录，包括CLI，可用于提供交互式界面供输入语句或者可以供用户执行含有Hive语句的脚本）
- 其他组件（Thrift服务提供了可远程访问其他进程的功能，也提供JDBC和ODBC访问Hive的功能）
Hive还提供了一个简单的网页界面，也就是Hive网页界面（HWI），提供了远程访问Hive服务
命令行界面
CLI选项
下列命令显示CLI所提供的选项列表
hive --help --service cli
这里我使用的是1.2.1版本
usage: hive
-d,--define <key=value> Variable subsitution to apply to hive
commands. e.g. -d A=B or --define A=B
--database <databasename> Specify the database to use
-e <quoted-query-string> SQL from command line
-f <filename> SQL from files
-H,--help Print help information
--hiveconf <property=value> Use value for given property
--hivevar <key=value> Variable subsitution to apply to hive
commands. e.g. --hivevar A=B
-i <filename> Initialization SQL file
-S,--silent Silent mode in interactive shell
-v,--verbose Verbose mode (echo executed SQL to the
console)
接下来详细探讨这些选项
变量和属性
--define key=value和--hivevar key=value是等价的
作用是让用户在命令行定义用户自定义变量以便在hive脚本中使用
变量或者属性是在不同上下文中使用的属于，在大多数情况下，它们的功能是相同的
| 命名空间 | 使用权限 | 描述 |
|---|---|---|
| hivevar | 可读/可写 | 用户自定义变量 |
| hiveconf | 可读/可写 | Hive相关的配置属性 |
| system | 可读/可写 | Java定义的配置属性 |
| env | 只可读 | Shell环境(例如bash)定义的环境变量 |
Hive中的变量是以Java字符串的方式存储的。用户可以在查询中引入变量。Hive会先使用变量值替换掉查询中的变量引用，然后才会将查询语句提交给查询处理器
在CLI中可以使用Set命令显示或者修改变量值
Set显示变量值：
hive> set env:HOME;
env:HOME=/root
Set给变量赋值：
[root@node02 ~]# hive --define foo=bar
18/12/24 22:24:17 WARN conf.HiveConf: HiveConf of name hive.metastore.local does not exist
Logging initialized using configuration in jar:file:/opt/software/hive-1.2.1/lib/hive-common-1.2.1.jar!/hive-log4j.properties
hive> set foo;
foo=bar
hive> set hivevar:foo;
hivevar:foo=bar
hive> set hivevar:foo=bar2;
hive> set foo;
foo=bar2
hive> set hivevar:foo;
hivevar:foo=bar2
hive>
可以看到前缀hivevar是可选的
前面说过：在CLI中查询语句中的变量引用会先被替换掉然后才会提交给查询处理器。比如：
hive> create table toss1(i int,${hivevar:foo} string);
OK
Time taken: 1.709 seconds
hive> describe toss1;
OK
i int
bar2 string
Time taken: 0.768 seconds, Fetched: 2 row(s)
hive> create table toss2(i2 int,${foo} string);
OK
Time taken: 0.082 seconds
hive> describe toss2;
OK
i2 int
bar2 string
Time taken: 0.112 seconds, Fetched: 2 row(s)
hive> drop table toss1;
OK
Time taken: 1.394 seconds
hive> drop table toss2;
OK
Time taken: 0.152 seconds
我们看看--hiveconf选项（也可以用-hiveconf）
作用：配置hive行为的所有属性
比如，我们用它来指定hive.cli.print.current.db属性（开启这个属性即可以在CLI提示符前打印出当前所在的数据库名），默认数据库名为default，而这个属性默认是false。
[root@node02 ~]# hive --hiveconf hive.cli.print.current.db=true
18/12/24 22:37:04 WARN conf.HiveConf: HiveConf of name hive.metastore.local does not exist
Logging initialized using configuration in jar:file:/opt/software/hive-1.2.1/lib/hive-common-1.2.1.jar!/hive-log4j.properties
hive (default)> set hive.cli.print.current.db;
hive.cli.print.current.db=true
hive (default)> set hive.cli.print.current.db=false;
hive> set hive.cli.print.current.db=true;
hive (default)>
我们甚至可以增加新的hiveconf属性：
[root@node02 ~]# hive --hiveconf y=5
hive> set y;
y=5
我们还有必要了解一下system命名空间。Java系统属性对这个命名空间具有可读可写的权利，而env命名空间，对于环境变量只提供可读权限。
hive> set system:user.name;
system:user.name=root
hive> set system:user.name=rivers;
hive> set system:user.name;
system:user.name=rivers
hive> set env:HOME;
env:HOME=/root
hive> set env:HOME=rivers;
env:* variables can not be set.
Query returned non-zero code: 1, cause: null
Hive中“一次使用”命令
用户可能有时期望执行一个或多个查询（用分号间隔），执行结束后hive CLI立即退出。Hive提供了这样的功能，因为CLI可以接受-e命令这种形式。比如：（表pro_distribution是随便找的测试表，有两个字段）
[hadoop@zbnamenode01 conf]$ hive -e "select * from pro_distribution limit 2";
OK
087606097909 0.3146947702628951
045902825931 0.3146947702628951
Time taken: 0.978 seconds, Fetched: 2 row(s)
[hadoop@zbnamenode01 conf]$
临时应急时可以使用这个功能将查询结果保存到一个文件中。
增加-S选项可以开启静默模式，这样可以在输出结果中去掉"OK"和"Time taken"等行，以及一些无关紧要的输出信息，如：
[hadoop@zbnamenode01 tmp]$ hive -S -e "select * from pro_distribution limit 2" > ~/tmp/myquery
[hadoop@zbnamenode01 tmp]$ cat myquery
087606097909 0.3146947702628951
045902825931 0.3146947702628951
从文件中执行Hive查询
Hive中可以使用-f文件名方式执行文件中的一个或多个查询语句。按照惯例（也就是仅仅是建议）一般把这些Hive查询文件保存为具有.q或者.hql后缀名的文件。
我先创建一个probquery.hql文件并用vim写入Hive查询语句
select * from pro_distribution limit 2;
然后用hive -f 文件的方式执行
[hadoop@zbnamenode01 tmp]$ hive -f probquery.hql
OK
087606097909 0.3146947702628951
045902825931 0.3146947702628951
Time taken: 0.966 seconds, Fetched: 2 row(s)
在Hive Shell中用户可以使用source命令来执行一个脚本文件。如：
hive> source /home/hadoop/tmp/probquery.hql;
OK
087606097909 0.3146947702628951
045902825931 0.3146947702628951
Time taken: 0.865 seconds, Fetched: 2 row(s)
执行Shell命令
用户不需要退出Hive CLI就可以执行简单的Shell命令。只要在命令前加上！并以(;)结尾就可以。如：
hive> ! pwd;
/home/hadoop/tmp
hive> ! echo "hello";
"hello"
hive>
在Hive中使用Hadoop的dfs命令
用户可以在Hive中使用Hadoop的dfs命令，只需要将hhadoop命令中的关键字hadoop去掉，然后以分号结尾就可以了。如：
hive> dfs -ls /;
Found 8 items
drwxr-xr-x - hadoop supergroup 0 2018-09-19 16:26 /data
drwxr-xr-x - hadoop supergroup 0 2017-09-01 09:30 /hive
drwxr-xr-x - hadoop supergroup 0 2018-12-18 11:12 /offnet
drwxr-xr-x - hadoop supergroup 0 2018-12-11 12:32 /root
drwxrwxrwx - hadoop supergroup 0 2018-07-25 17:24 /tmp
drwxr-xr-x - hadoop supergroup 0 2018-12-25 09:24 /u1
drwxrwxrwx - hadoop supergroup 0 2018-12-12 10:29 /user
drwxr-xr-x - hadoop supergroup 0 2017-08-16 12:10 /usr
Hive脚本中如何进行注释
用户可以以--开头的字符串进行注释
-- just a test
select * from pro_distribution limit 2;
网友评论