执行流程详细解析
Step 1：UI(user interface) 调用 executeQuery 接口，发送 HQL 查询语句给 Driver
Step 2：Driver 为查询语句创建会话句柄，并将查询语句发送给 Compiler， 等待其进行语句解析并生成执行计划
Step 3 and 4：Compiler 从 metastore 获取相关的元数据
Step 5：元数据用于对查询树中的表达式进行类型检查，以及基于查询谓词调整分区，生成计划
Step 6 (6.1，6.2，6.3)：由 Compiler 生成的执行计划是阶段性的 DAG，每个阶段都可能会涉及到 Map/Reduce job、元数据的操作、HDFS 文件的操作，Execution Engine 将各个阶段的 DAG 提交给对应的组件执行。
Step 7, 8 and 9：在每个任务（mapper / reducer）中，查询结果会以临时文件的方式存储在 HDFS 中。保存查询结果的临时文件由 Execution Engine 直接从 HDFS 读取，作为从 Driver Fetch API 的返回内容。
执行流程详细解析 Step 1：UI(user interface) 调用 executeQuery 接口，发送 ...
Hive官网 Hive概述 Hive 的底层执行引擎有 ：MapReduce，Tez，Spark- Hive on...
--------hive 数据仓库 hive底层执行引擎有 MapReduce Tez Spark 压缩 GZI...
前言 Hive on Spark是指使用Spark替代传统MapReduce作为Hive的执行引擎，在HIVE-7...
Hive简单优化与定期ETL Hive优化 Hive的执行依赖于底层的MapReduce作业，因此对Hadoop作...
Hive是否执行mapreduce 因为有些sql语句是不需要走mapreduce的。比如：select *、li...
核心思想：把Hive SQL 当做Mapreduce程序去优化 注意:以下SQL不会转为Mapreduce来执行,...
Hive SQL任务本质上最后是转化成了 MapReduce 任务执行。 MapReduce 实现 SQL 常见操...
一、HIVE SQL 语法 大家都知道hive底层跑的是mapreduce程序，在执行hql语句时，mapredu...
众所周知，Hive会将SQL翻译转换成对应的MAPREDUCE任务，通过执行MAPREDUCE任务来获得最终想要的...
本文标题：Hive on Mapreduce执行流程
本文链接：https://www.haomeiwen.com/subject/mesyyqtx.html
网友评论