Hive什么情况下可以避免进行MapReduce？

作者: 小小少年Boy | 来源:发表于2018-08-08 21:13 被阅读0次

hive 0.10.0为了执行效率考虑，简单的查询，就是只是select，不带count,sum,group by这样的，都不走map/reduce，直接读取hdfs文件进行filter过滤。

1、本地模式下，hive可以简单的读取目录路径下的数据，然后输出格式化后的数据到控制台，比如有本地员工employee，当执行 select * from employee 时，直接将文件中数据格式化输出。
2、查询语句中的过滤条件只是分区字段的情况下不会进行Mapreduce。

设置：
在hive-site.xml里面有个配置参数叫

hive.fetch.task.conversion = more

将这个参数设置为more，简单查询就不走map/reduce了，设置为minimal，就任何简单select都会走map/reduce

Hive调优
Fetch抓取（Hive可以避免进行MapReduce）Hive中对某些情况的查询可以不必使用MapReduce计...
Hive 公司调优总结(一)
1.开启Fetch抓取 Hive优化(十四)- Fetch抓取（Hive可以避免进行MapReduce） 2.使用...
Hive的调优你都知道那些？
前言一、Fetch抓取（Hive可以避免进行MapReduce） Hive中对某些情况的查询可以不必使用Map...
Hive什么情况下可以避免进行MapReduce？
hive 0.10.0为了执行效率考虑，简单的查询，就是只是select，不带count,sum,group by...
Hive补充
Hive补充 1.认知 2.本地避免使用MapReduce 设置: 3.Hive元数据 4.Hive任务调度 oo...
总结：Hive，Hive on Spark和SparkSQL区别
Hive on Mapreduce Hive的原理大家可以参考这篇大数据时代的技术hive：hive介绍，实际的一...
Hive详解（一）Hive是什么&Hive怎么用
Hive出现的原因 Hadoop通过MapReduce（Hadoop和MapReduce后续我也会提到）可以将复杂...
hive(一)：hive概述
1.1 什么是Hive 1） Hive简介 2） Hive本质：将HQL转化成MapReduce程序 [图片上传失...
Hive调优 | Hive常见的几种优化模式
Hive和MapReduce中拥有较多在特定情况下优化的特性，如何利用好相关特性，是Hive性能调优的关键。本文就...
Hive 调优，先掌握这几种优化模式
Hive和MapReduce中拥有较多在特定情况下优化的特性，如何利用好相关特性，是Hive性能调优的关键。本文就...