美文网首页
impala 概念及其特性

impala 概念及其特性

作者: 起个什么呢称呢 | 来源:发表于2018-05-29 14:46 被阅读683次

impala是什么?

Impala是用于处理存储在Hadoop集群中的大量数据的MPP(大规模并行处理)SQL查询引擎。 它是一个用C ++和Java编写的开源软件。 与其他Hadoop的SQL引擎相比,它提供了高性能和低延迟.

为什么选择impala?

Impala通过使用hadoop生态组件(如HDFS,HBase,Metastore,YARN和Sentry)将传统分析数据库的SQL支持和多用户性能与Apache Hadoop的可扩展性和灵活性相结合。

使用Impala,与其他SQL引擎(如Hive)相比,用户可以使用SQL查询以更快的方式与HDFS或HBase进行通信。

Impala可以读取Hadoop使用的几乎所有文件格式,如Parquet,Avro,RCFile。

Impala将相同的元数据,SQL语法(Hive SQL),ODBC驱动程序和用户界面(Hue Beeswax)用作Apache Hive,为面向批量或实时查询提供熟悉且统一的平台。

与Apache Hive不同,Impala不基于MapReduce算法。 它实现了一个基于守护进程的分布式架构,它负责在同一台机器上运行的查询执行的所有方面。

因此,它减少了使用MapReduce的延迟,这使Impala比Apache Hive快。

impala优点

1.使用impala,使用传统的SQL知识以极快的速度处理存储在HDFS中的数据。

2.由于在数据驻留(在Hadoop集群上)时执行数据处理,因此在使用Impala时,不需要对存储在Hadoop上的数据进行数据转换和数据移动。

3.使用Impala,可以访问存储在HDFS,HBase和Amazon s3中的数据,而无需了解Java(MapReduce作业)。使用SQL查询的基本概念访问

4.缩短在业务工具中写入查询,数据必须经历复杂的提取 - 变换负载(ETL)周期。

5.Impala可以使用Parquet文件格式

impala功能特性

1.Impala支持内存中数据处理,即,它访问/分析存储在Hadoop数据节点上的数据,而无需数据移动。

2.与其他SQL引擎相比,Impala为HDFS中的数据提供了更快的访问。

3.使用Impala,可以访问不同的数据存储,如HDFS,Apache HBase和Amazon s3。

4.Impala支持各种文件格式,如LZO,序列文件,Avro,RCFile和Parquet。

5.Impala使用Apache Hive的元数据,ODBC驱动程序和SQL语法。

传统的hive和RDMS 与impala对比

关系数据库与impala对比 hive,hbase,impala三者对比

Impala的缺点

Impala不提供任何对序列化和反序列化的支持。

Impala只能读取文本文件,而不能读取自定义二进制文件。

每当新的记录/文件被添加到HDFS中的数据目录时,该表需要被刷新。

相关文章

  • impala 概念及其特性

    impala是什么? Impala是用于处理存储在Hadoop集群中的大量数据的MPP(大规模并行处理)SQL查询...

  • Apache Impala概念和架构

    Apache Impala概念和架构 目录 Apache Impala概念和架构... 1 Impala服务器组件...

  • 可转债的概念及其特性

    可转债是什么 可转债的全称叫做可转换公司债券,它是公司债券的一种,它的特别之处在于它以后可以转换为债券发行公司的股...

  • hooks

    核心概念:在不编写 class 的情况下使用 state 以及其他的 React 特性 一、useState() ...

  • Impala原理及其调优

    http://www.baidu.com/link?url=Ux-j4d-TfFW3oio-Um3uRtaTKeH...

  • iOS-UIStackView浅析

    一、UIStackView简介 概念:一个堆叠视图的容器,iOS9的新特性。 用途:StackView及其子视图会...

  • iOS UIStackView

    一、UIStackView简介 概念:一个堆叠视图的容器,iOS9的新特性。用途:StackView及其子视图会自...

  • 浅谈交互式查询⼯工具Impala(一)

    一、Impala概述(Impala是什什么,优势,劣势,与Hive对⽐) Impala是什什么 Impala是Cl...

  • Apache Impala 简介

    Apache Impala简介 目录 Apache Impala简介... 1 交互式SQL. 1 Impala主...

  • Impala快速上手:Impala简介,Impala shell

    摘要:impala,JDBC,DBCP impala简介 Impala是Cloudera由C++编写的基于MPP(...

网友评论

      本文标题:impala 概念及其特性

      本文链接:https://www.haomeiwen.com/subject/xkqajftx.html