浅谈交互式查询⼯工具Impala(二)

作者: 顾子豪 | 来源:发表于2021-07-12 13:48 被阅读0次

四、Impala的使⽤（使⽤用与Hive类似，编写sql⽅方式；Impala的DDL,查询语法，导⼊入数据）

Impala的核⼼心开发语⾔言是sql语句句，Impala有shell命令⾏行行窗⼝口，以及JDBC等⽅方式来接收sql语句句执⾏行行，
对于复杂类型分析可以使⽤用C++或者Java来编写UDF函数。
Impala的sql语法是⾼高度集成了了Apache Hive的sql语法，Impala⽀支持Hive⽀支持的数据类型以及部分Hive的内置函数。
需要注意的⼏几点：

Impala与Hive类似它们的重点都是在与查询，所以像Update,delete等具有更更新性质的操作最好不要使⽤用这种⼯工具，对于删除数据的操作可以通过Drop Table,Alter Table Drop Partition来实现，更新可以尝试使⽤用Insert overwrite⽅方式
通常使⽤用Impala的⽅方式是数据⽂文件存储在Hdfs⽂文件系统，借助于Impala的表定义来查询和管理Hdfs上的数据⽂文件；
Impala的使⽤用⼤大多数与Hive相同，⽐比如Impala同样⽀支持内外部表，以及分区等，可以借鉴参考Hive的使⽤用。

Impala-shell命令参数

impala-shell外部命令
所谓的外部命令指的是不不需要进⼊入到impala-shell交互命令⾏行行当中即可执⾏行行的命令参数。impala-shell后⾯面执⾏行行的时候可以带很多参数。你可以在启动 impala-shell 时设置，⽤用于修改命令执⾏行行环境。
impala-shell –h可以帮助我们查看帮助⼿手册。也可以参考课程附件资料料。
⽐如几个常见的：
impala-shell –r刷新impala元数据，与建⽴立连接后执⾏行行 REFRESH 语句句效果相同(元数据发⽣生变化的时候)
impala-shell –f ⽂文件路路径执⾏行行指的的sql查询⽂文件。
impala-shell –i指定连接运⾏行行 impalad 守护进程的主机。默认端⼝口是 21000。你可以连接到集群中运⾏行行
impalad 的任意主机。
impala-shell –o保存执⾏行行结果到⽂文件当中去。

展示Impala默认⽀支持的内置函数需要进⼊入Impala默认系统数据库中执⾏行

show functions;

在其它数据库下⽆无法查看！
impala-shell内部命令
所谓内部命令是指，进⼊入impala-shell命令⾏行行之后可以执⾏行行的语法。

connect hostname 连接到指定的机器器impalad上去执⾏。

refresh dbname.tablename增量量刷新，刷新某⼀一张表的元数据，主要⽤用于刷新hive当中数据表⾥里里⾯面的数据改变的情况。

invalidate metadata全量量刷新，性能消耗较⼤大，主要⽤用于hive当中新建数据库或者数据库表的时候来进⾏行刷新。
quit/exit命令从Impala shell中退出
explain 命令⽤用于查看sql语句句的执⾏行行计划。

explain的值可以设置成0,1,2,3等⼏几个值，其中3级别是最⾼高的，可以打印出最全的信息

set explain_level=3;

profile命令执⾏行行sql语句句之后执⾏行行，可以打印出更更加详细的执⾏行行步骤，主要⽤用于查询结果的查看，集群的调优等。

expalin:可以不不真正执⾏行行任务，只是展示任务的执⾏行行计划；
profile:需要任务执⾏行行完成后调⽤用，可以从更更底层以及更更详细的层⾯面来观察我们运⾏行行impala的任务，进⾏行调优。

Impala sql语法

2.1 数据库特定语句句

创建数据库
CREATE DATABASE语句句⽤用于在Impala中创建新数据库。
CREATE DATABASE IF NOT EXISTS database_name;
这⾥里里，IF NOT EXISTS是⼀一个可选的⼦子句句。如果我们使⽤用此⼦子句句，则只有在没有具有相同名称的现有数据库时，才会创建具有给定名称的数据库。

默认就会在hive的数仓路路径下创建新的数据库名⽂文件夹

/user/hive/warehouse/lagoutest.db

删除数据库
Impala的DROP DATABASE语句句⽤用于从Impala中删除数据库。在删除数据库之前，建议从中删除所有表。
如果使⽤用级联删除，Impala会在删除指定数据库中的表之前删除它。

drop database sample cascade;

表特定语句句

create table语句句
CREATE TABLE语句句⽤用于在Impala中的所需数据库中创建新表。需要指定表名字并定义其列列和每列列的数据类型。
impala⽀支持的数据类型和hive类似.

create table IF NOT EXISTS database_name.table_name ( column1 data_type,
column2 data_type, column3 data_type, ……… columnN data_type);
CREATE TABLE IF NOT EXISTS my_db.student(name STRING, age INT, contact INT );

默认建表的数据存储路路径跟hive⼀一致。也可以在建表的时候通过location指定具体路路径。

insert 语句
Impala的INSERT语句句有两个⼦子句句: into和overwrite。into⽤用于插⼊入新记录数据，overwrite⽤用于覆盖已有的记录。

insert into table_name (column1, column2, column3,...columnN)values (value1,
value2, value3,...valueN);
Insert into table_name values (value1, value2, value2);

这⾥里里，column1，column2，... columnN是要插⼊入数据的表中的列列的名称。还可以添加值⽽而不不指定列名，但是，需要确保值的顺序与表中的列列的顺序相同。
例⼦

create table employee (Id INT, name STRING, age INT,address STRING, salary
BIGINT);
insert into employee VALUES (1, 'Ramesh', 32, 'Ahmedabad', 20000 );
insert into employee values (2, 'Khilan', 25, 'Delhi', 15000 );
Insert into employee values (3, 'kaushik', 23, 'Kota', 30000 );
Insert into employee values (4, 'Chaitali', 25, 'Mumbai', 35000 );
Insert into employee values (5, 'Hardik', 27, 'Bhopal', 40000 );
Insert into employee values (6, 'Komal', 22, 'MP', 32000 );

overwrite覆盖⼦子句句覆盖表当中全部记录。覆盖的记录将从表中永久删除。

Insert overwrite employee values (1, 'Ram', 26, 'Vishakhapatnam', 37000 );

select语句句
Impala SELECT语句句⽤用于从数据库查询数据，此查询以表的形式返回数据。
describe 语句句
Impala中的describe语句句⽤用于提供表的描述。此语句句的结果包含有关表的信息，例例如列列名称及其数据类型。

describe table_name;

alter table
Impala中的Alter table语句句⽤用于对给定表执⾏行行更更改。使⽤用此语句句，我们可以添加，删除或修改现有表中的列列，也可以重命名它们。
参考Hive实现。
delete、truncate table
Impala drop table语句句⽤用于删除Impala中的现有表。此语句句还会删除内部表的底层HDFS⽂文件。
注意：使⽤用此命令时必须⼩小⼼心，因为删除表后，表中可⽤用的所有信息也将永远丢失。

drop table database_name.table_name;

Impala的Truncate Table语句句⽤用于从现有表中删除所有记录。保留留表结构。
您也可以使⽤用DROP TABLE命令删除⼀一个完整的表，但它会从数据库中删除完整的表结构，如果您希望存储⼀一些数据，您将需要重新创建此表。

truncate table_name;

Impala对复杂数据类型的⽀支持

对于Text存储格式中的复杂类型不不⽀支持，复杂类型要使⽤用parquet格式。

view视图
视图仅仅是存储在数据库中具有关联名称的Impala查询语⾔言的语句句。它是以预定义的SQL查询形式的表的组合。
视图可以包含表的所有⾏行行或选定的⾏行行。

create view if not exists view_name as select statement

创建视图view、查询视图view

create view if not exists employee_view AS select name, age from employee;

修改视图

alter view database_name.view_name as Select语句句

删除视图

drop view database_name.view_name;

order by⼦子句句
Impala ORDER BY⼦子句句⽤用于根据⼀一个或多个列列以升序或降序对数据进⾏行行排序。默认情况下，⼀一些数据库按升序对查询结果进⾏行行排序。

select * from table_name ORDER BY col_name
[ASC|DESC] [NULLS FIRST|NULLS LAST]

可以使⽤用关键字ASC或DESC分别按升序或降序排列列表中的数据。
如果我们使⽤用NULLS FIRST，表中的所有空值都排列列在顶⾏行行; 如果我们使⽤用NULLS LAST，包含空值的⾏将最后排列列。

group by⼦子句句
Impala GROUP BY⼦子句句与SELECT语句句协作使⽤用，以将相同的数据排列列到组中。

select name, sum(salary) from employee group by name;

having⼦子句句
容易易与where过滤进⾏行行混淆，
如何区分：
where:过滤的数据是原始数据，表中本来就存在的数据；
having:过滤的是查询结果数据；
按年年龄对表进⾏行行分组，并选择每个组的最⼤大⼯工资，并显示⼤大于20000的⼯工资

select max(salary) from employee group by age having max(salary) > 20000;

limit、offset
Impala中的limit⼦子句句⽤用于将结果集的⾏行行数限制为所需的数，即查询的结果集不不包含超过指定限制的记录。
⼀一般来说，select查询的resultset中的⾏行行从0开始。使⽤用offset⼦子句句，我们可以决定从哪⾥里里考虑输出。

select * from employee order by salary limit 2 offset 2;

使⽤用offset关键字要求结果数据必须是排序之后的！！

第 3 节 Impala导⼊入数据

insert into values
这种⽅方式⾮非常类似于RDBMS的数据插⼊入⽅方式。

create table t_test2(id int,name string);
insert into table t_test2 values(1,”zhangsan”);

insert into select
插⼊入⼀一张表的数据来⾃自于后⾯面的select查询语句句返回的结果。
create table as select
建表的字段个数、类型、数据来⾃自于后续的select查询语句句。
load data⽅方式，这种⽅方式不不建议在Impala中使⽤用，先使⽤用load data⽅方式把数据加载到Hive表中，然后使⽤用以上⽅方式插⼊入Impala表中。

五、Impala的Java 开发(Java+C++,使⽤用JDBC⽅方式查询Impala)

在实际⼯工作当中，因为impala的查询⽐比较快，所以可能有会使⽤用到impala来做数据库查询的情况，我们可以通过java代码来进⾏行行操作impala的查询

导⼊入jar包

<dependencies>
<!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoopcommon
-->
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>2.9.2</version>
</dependency>
<!-- https://mvnrepository.com/artifact/org.apache.hive/hive-common --
>
<dependency>
<groupId>org.apache.hive</groupId>
<artifactId>hive-common</artifactId>
<version>2.3.7</version>
</dependency>
<!-- https://mvnrepository.com/artifact/org.apache.hive/hive-metastore
-->
<dependency>
<groupId>org.apache.hive</groupId>
<artifactId>hive-metastore</artifactId>
<version>2.3.7</version>
</dependency>
<!-- https://mvnrepository.com/artifact/org.apache.hive/hive-service -
->
<dependency>
<groupId>org.apache.hive</groupId>
<artifactId>hive-service</artifactId>
<version>2.3.7</version>
</dependency>
<!-- https://mvnrepository.com/artifact/org.apache.hive/hive-jdbc -->
<dependency>
<groupId>org.apache.hive</groupId>
<artifactId>hive-jdbc</artifactId>
<version>2.3.7</version>
</dependency>
<!-- https://mvnrepository.com/artifact/org.apache.hive/hive-exec -->
<dependency>
<groupId>org.apache.hive</groupId>
<artifactId>hive-exec</artifactId>
<version>2.3.7</version>
</dependency>
</dependencies>

java代码开发

package com.lagou.impala.jdbc;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
public class ImpalaTest {
public static void main(String[] args) throws Exception {
//定义连接impala的驱动和连接url
String driver = "org.apache.hive.jdbc.HiveDriver";
String driverUrl = "jdbc:hive2://linux122:21050/default;auth=noSasl";
//查询的sql语句句
String querySql = "select * from t1";
//获取连接
Class.forName(driver);
//通过Drivermanager获取连接
final Connection connection = DriverManager.getConnection(driverUrl);
final PreparedStatement ps = connection.prepareStatement(querySql);
//执⾏行行查询
final ResultSet resultSet = ps.executeQuery();
//解析返回结果
//获取到每条数据的列列数
final int columnCount = resultSet.getMetaData().getColumnCount();
//遍历结果集
while (resultSet.next()) {
for (int i = 1; i <= columnCount; i++) {
final String string = resultSet.getString(i);
System.out.print(string + "\t");
}
System.out.println();
}
//关闭资源
ps.close();
connection.close();
}
}

六、Impala的优化(负载均衡，Impala中的Join的优化)

Impala的负载均衡

Impala主要有三个组件，分别是statestore，catalog和impalad，对于Impalad节点，每⼀一个节点都可以接收客户端的查询请求，并且对于连接到该Impalad的查询还要作为Coordinator节点（需要消耗⼀一定的内存和CPU）存在，为了了保证每⼀一个节点的资源开销的平衡需要对于集群中的Impalad节点做⼀一下
负载均衡.

Cloudera官⽅方推荐的代理理⽅方案:HAProxy
DNS做负载均衡
DNS做负载均衡⽅方案是最简单的，但是性能⼀一般，所以这⾥里里我们按照官⽅方的建议使⽤用HAProxy实现负载均衡⽣生产中应该选择⼀一个⾮非Impalad节点作为HAProxy的安装节点
1.1 HAProxy⽅方案
安装haproxy

yum install haproxy -y

配置⽂文件

vim /etc/haproxy/haproxy.cfg

具体配置内容

#---------------------------------------------------------------------
# Example configuration for a possible web application. See the
# full configuration options online.
#
# http://haproxy.1wt.eu/download/1.4/doc/configuration.txt
#
#---------------------------------------------------------------------
#---------------------------------------------------------------------
# Global settings
#---------------------------------------------------------------------
global
log 127.0.0.1 local2
chroot /var/lib/haproxy
pidfile /var/run/haproxy.pid
maxconn 4000
user haproxy
group haproxy
daemon
# turn on stats unix socket
stats socket /var/lib/haproxy/stats
#---------------------------------------------------------------------
# common defaults that all the 'listen' and 'backend' sections will
# use if not designated in their block
#---------------------------------------------------------------------
defaults
mode http#mode { tcp|http|health }，tcp 表示4层，http表示7
层，health仅作为健康检查使⽤用
log global
option httplog
option dontlognull
#option http-server-close
#option forwardfor except 127.0.0.0/8
#option abortonclose##连接数过⼤大⾃自动关闭
option redispatch#如果失效则强制转换其他服务器器
retries 3#尝试3次失败则从集群摘除
timeout http-request 10s
timeout queue 1m
#timeout connect 10s
#timeout client 1m
#timeout server 1m
timeout connect 1d#连接超时时间，重要，hive查询数据能返回结果的保证
timeout client 1d#同上
timeout server 1d#同上
timeout http-keep-alive 10s
timeout check 10s#健康检查时间
maxconn 3000#最⼤大连接数
listen status#定义管理理界⾯面
bind 0.0.0.0:1080#管理理界⾯面访问IP和端⼝口
mode http#管理理界⾯面所使⽤用的协议
option httplog
maxconn 5000#最⼤大连接数
stats refresh 30s#30秒⾃自动刷新
stats uri /stats
listen impalashell
bind 0.0.0.0:25003#ha作为proxy所绑定的IP和端⼝口
mode tcp#以4层⽅方式代理理，重要
option tcplog
balance roundrobin#调度算法 'leastconn' 最少连接数分配，或者 'roundrobin'，轮询
分
server impalashell_1 linux121:21000 check
server impalashell_2 linux122:21000 check
server impalashell_3 linux123:21000 check
listen impalajdbc
bind 0.0.0.0:25004#ha作为proxy所绑定的IP和端⼝口
mode tcp#以4层⽅方式代理理，重要
option tcplog
balance roundrobin #调度算法 'leastconn' 最少连接数分配，或者 'roundrobin'，轮询
分
server impalajdbc_1 linux121:21050 check
server impalajdbc_2 linux122:21050 check
server impalajdbc_3 linux122:21050 check
#---------------------------------------------------------------------
# main frontend which proxys to the backends
#---------------------------------------------------------------------
frontend main *:5000
acl url_static path_beg -i /static /images /javascript
/stylesheets
acl url_static path_end -i .jpg .gif .png .css .js
use_backend static if url_static
default_backend app
#---------------------------------------------------------------------
# static backend for serving up images, stylesheets and such
#---------------------------------------------------------------------
backend static
balance roundrobin
server static 127.0.0.1:4331 check
#---------------------------------------------------------------------
# round robin balancing between the various backends
#---------------------------------------------------------------------
backend app
balance roundrobin
server app1 127.0.0.1:5001 check
server app2 127.0.0.1:5002 check
server app3 127.0.0.1:5003 check
server app4 127.0.0.1:5004 check

启动

开启： service haproxy start
关闭： service haproxy stop
重启： service haproxy restart

使⽤
Impala-shell访问⽅方式

impala-shell -i linux123:25003

使⽤用起来⼗十分⽅方便便，区别仅仅相当于是修改了了⼀一个ip地址和端⼝口⽽而已，其余不不变。

jdbc:hive2://linux123:25004/default;auth=noSasl

Impala集群在操作过程中尽量量多给内存，如果内存不不能满⾜足使⽤用要求，Impala的执⾏行行很可能会报错！！

Impala优化

cloudera官⽹网上的Impala⽂文档，原名为《Impala Performance Guidelines and Best Practices》。主要介绍了了为了了提升impala性能应该考虑的⼀一些事情，结合实际考虑：

基本优化策略略

⽂件格式
对于⼤大数据量量来说，Parquet⽂文件格式是最佳的
避免⼩小⽂文件
insert ... values 会产⽣生⼤大量量⼩小⽂文件，避免使⽤用
合理理分区粒度
利利⽤用分区可以在查询的时候忽略略掉⽆无⽤用数据，提⾼高查询效率，通常建议分区数量量在3万以下(太多的分区也会造成元数据管理理的性能下降)
分区列列数据类型最好是整数类型
分区列列可以使⽤用string类型，因为分区列列的值最后都是作为HDFS⽬目录使⽤用，如果分区列使⽤用
整数类型可以降低内存消耗
获取表的统计指标：在追求性能或者⼤大数据量量查询的时候，要先获取所需要的表的统计指标
(如:执⾏行行compute stats )
减少传输客户端数据量量
聚合(如 count、sum、max 等)
过滤(如WHERE )
limit限制返回条数
返回结果不不要使⽤用美化格式进⾏行行展示(在通过impala-shell展示结果时，添加这些可选参数: -B、 --output_delimiter )
在执⾏行行之前使⽤用EXPLAIN来查看逻辑规划，分析执⾏行行逻辑
Impala join⾃自动的优化⼿手段就是通过使⽤用COMPUTE STATS来收集参与Join的每张表的统计信息，然后由Impala根据表的⼤大⼩小、列列的唯⼀一值数⽬目等来⾃自动优化查询。为了了更更加精确地获取每张表的统计信息，每次表的数据变更更时(如执⾏行行Insert,add partition,drop partition等)最好都要执⾏行行⼀一遍COMPUTE STATS获取到准确的表统计信息。

浅谈交互式查询⼯工具Impala(二)

四、Impala的使⽤（使⽤用与Hive类似，编写sql⽅方式；Impala的DDL,查询语法，导⼊入数据）

Impala-shell命令参数

Impala sql语法

表特定语句句

第 3 节 Impala导⼊入数据

五、Impala的Java 开发(Java+C++,使⽤用JDBC⽅方式查询Impala)

六、Impala的优化(负载均衡，Impala中的Join的优化)

Impala的负载均衡

Impala优化

相关文章

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读