之前单位的CDH集群部分组件老是会挂掉,每天人为的检查和重启服务,太麻烦,故写个相关服务监控的脚本发送消息和自动重...[作者空间]
一、问题现象说明: 1, IQL在执行数据量超过1亿条数据的时候,执行不出来结果 2, 在执行超过四秒以后Yarn...[作者空间]
一、问题现象 1,同样一个执行语句在Spark-shell中就可以执行,但是在Spark-submit中执行时等待...[作者空间]
CDH集群,所需要和后续需要的一些配置。[作者空间]
一、下载 下载地址:http://www.kafkatool.com/download.html 我们的kafka...[作者空间]
Kettle是一款国外开源的ETL工具,纯java编写,可以在Windows、Linux、Unix上运行,数据抽...[作者空间]
一、说明 Moonbox(计算服务平台),是一个DVtaaS(Data Virtualization as a S...[作者空间]
废话不多说,直接开始。 第一步:先查看hadoop版本和scala版本。 hadoop版本如下: 第二步:去官网找...[作者空间]
注:以下安装在cdh集群集成kudu的步骤 1.下载三个包 KUDU-1.2.0-1.cdh5.10.0.p0.5...[作者空间]
一、DataX3.0概述 DataX 是一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Ora...[作者空间]
目前不同公司多多少少存在Hive数据库在不同集群间的数据迁移需求,我们只要在CDH新版本集群搭建完成之后,即可进...[作者空间]
由于每家公司预算问题,经常会出现服务器磁盘空间不足问题导致大数据集群服务出现异常,下面介绍下解决方法。 一、问题现...[作者空间]
一、关系运算: 1. 等值比较: = 举例:Hive>select 1 from lxw_dual where 1...[作者空间]