产生此问题的原因:编码问题解决方式一:改变数据的编码 结局方式二:若还不能以方式一解决,则重新创建的数据库meta...[作者空间]
在使用Hive搭建数据仓库,处理数据时,同传统数仓的结构化数据不同,我们经常会遇到一些非结构化的数据,json格式...[作者空间]
本文种记录的大多是开源版本hive调优方式 我也会补充TDH集群Inceptor的优化方式 面试必备技能-Hive...[作者空间]
日常检查ETLjob时发现一段sql采用hive on mr执行比hive on spark要快70%,与正常的认...[作者空间]
背景篇 目前所在项目中,人员配置:项目经理(4)业务分析师报表开发工程师(2,4)etl工程师大数据开发工程师(4...[作者空间]
使用场景 需要查找最近修改时间在指定范围内的hive表或者hive表的相关分区,代码如下:[作者空间]
Hive时间转换 最近使用到hive时间转换很频繁,总结如下: 转换成小时 req_time是 "2016-11-...[作者空间]
1. 交集: select id from t1 join select id from t2 2. 并集 sel...[作者空间]
一、Explode用法 hive wiki对于expolde的解释如下: explode() takes in a...[作者空间]
分区 简介 为了避免Hive每次查询都扫描整个文件,除了采用索引的方式外,还可以通过建立分区表。分区表是指在创建表...[作者空间]
简介 Hive从0.7.0版本开始加入了索引,目的是提高Hive表指定列的查询速度。没有索引的时候,Hive在执行...[作者空间]
Hive支持关系型数据库中的大多数基本数据类型,同时也支持关系型数据库中很少出现的3种集合数据类型。 一、数据类型...[作者空间]
结论 左右关联时,1.条件不为主表条件时,放在on和where后面一样。2.条件为主表条件时,放在on后面,结果为...[作者空间]
最近工作中遇到一个问题: 对于分区表添加字段,向已存在分区中插入数据,结果新增字段的值全部为null。 注:是已存...[作者空间]
Bug Shell层面: 日志层面(hive的日志默认在/tmp/{username}/hive.log) web...[作者空间]
环境部署 HiveServer2的高可用-HA配置 基本常识 大数据Hive 面试以及知识点 hive实现upda...[作者空间]
1.修改默认的数据仓库位置,在hive-site.xml文件中配置如下参数:
Hive和数据库 Hive有自己的语言,叫HQL(近似于SQL),Hive是基于Hadoop的一个数据仓库,不是数...[作者空间]
本文主要讲述在mac环境下安装hive,目标读者为大数据初学者或者有意进入大数据行业的研发人员。 阅读本文前请先阅...[作者空间]
本文主要讲述在mac环境下安装hadoop,目标读者为大数据初学者或者有意进入大数据行业的研发人员。 1、安装ho...[作者空间]