背景 Hadoop HDFS 3.x 引入了 Observer NameNode 这个新角色之后,典型的集群部署从...[作者空间]
一、简 介Loki是受Prometheus启发由Grafana Labs团队开源的水平可扩展,高度可用的多租户日志...[作者空间]
简介 Panels能够帮助我们通过不同的方式可视化数据,grafana里面已经集成了一些panel,但是我们也可以...[作者空间]
spark on yarn运维 场景:对于集群故障和集群配置调整可能对spark实时任务造成的影响及所需采取措施进...[作者空间]
Hadoop集群运维 场景1:namenode节点故障,active namenode节点状态切换?如何恢复? 1...[作者空间]
1.概述--美观、强大的可视化监控指标展示工具 grafana 是一款采用 go 语言编写的开源应用,主要用于大规...[作者空间]
为什么需要sequenceId? HBase数据在写入的时候首先追加写入HLog,再写入Memstore,也就是说...[作者空间]
1、文档编写目的 目前各个企业都在利用Hadoop大数据平台,每天都会通过ETL产生大量的文件到hdfs上,如何有...[作者空间]
从源hbase集群中复制出HBase数据库表到本地目录 hadoop fs -get scp到目的集群 hadoo...[作者空间]
创建一个Linux系统用户 新建test11.ldif 写入以下内容 有看到说,使用以下命令来迁移uuid到lda...[作者空间]
link[作者空间]
配置 当任务运行结束后,YARN会把appmaster container任务的日志都上传到HDFS的地址中;每个...[作者空间]
cloudera Blog原文[作者空间]
HBase适合用于海量数据的存储,横向扩展非常方便,随着数据的增长,访问的性能却不会出现很大的下降。这是很多的公司...[作者空间]
http://www.thinkyixia.com/2017/11/04/zookeeper-6/在Zookeep...[作者空间]
在前文 JVM 虚拟机与对象创建过程 中了解到 JVM 运行时的内存模型,既然使用了内存就要考虑如何回收内存。GC...[作者空间]
前言:在Hadoop 1.x版本,HDFS集群的NameNode一直存在单点故障问题:集群只存在一个NameNod...[作者空间]
大表关联小表,把小表自动加载到内存中,需要确认以下配置为true,相当于写了一个mapjoin 实例: 查看url...[作者空间]
Hive性能优化: hive分配map和reduce数量 m,r数据量,对效率影响较大,因为在启动和初始化阶段是很...[作者空间]