美文网首页
大数据架构师文集目录

大数据架构师文集目录

作者: CoderJed | 来源:发表于2021-01-30 12:57 被阅读0次

1. 大数据平台安装、部署、运维篇

基于阿里云CentOS7.6搭建CM6.3大数据平台
基于CentOS7.8安装Ambari2.7+HDP3.1大数据平台
CM大数据平台实践之添加主机
CM大数据平台实践之HDFS升级为高可用
CM大数据平台实践之常用组件安装
CM大数据平台实践之角色重分配
CM大数据平台实践之集群扩容
Kafka集群管理工具CMAK-3.0.0.5源码编译以及安装部署
统一数据采集平台DBus-0.6.1安装部署
使用DBus贴源采集MySQL增量bin-log日志
分布式可视化DAG工作流任务调度系统DolphinScheduler-1.3.3安装部署
DolphinScheduler案例实战
Apache Kylin-2.6安装部署
Azkaban-3.x 源码编译
Azkaban-3.x 配置信息说明
Azkaban-3.x 用户管理
Azkaban-3.x Solo-Server模式部署
Azkaban-3.x 生成keystore和truststore文件
Azkaban-3.x Two-Server模式搭建
Azkaban-3.x 页面操作手册
Azkaban-3.x 创建Flow
Azkaban-3.x Conditional Workflow
Kafka源码编译
基于Kafka的高性能流处理平台——Confluent

2. 大数据开发篇

利用Sqoop实现HBase的数据与MySQL数据的互导
利用Sqoop实现HDFS的数据与MySQL数据的互导
利用Sqoop实现Hive的数据与MySQL数据的互导

Hive案例01-行列转换
Hive案例02-数值累加
Hive案例03-最高气温
Hive案例04-员工部门表综合案例
Hive案例05-学生成绩表综合案例
Hive窗口函数01-SUM、MIN、MAX、AVG
Hive窗口函数02-NTILE、ROW_NUMBER、RANK、DENSE_RANK
Hive窗口函数03-CUME_DIST、PERCENT_RANK
Hive窗口函数04-LAG、LEAD、FIRST_VALUE、LAST_VALUE
Hive窗口函数05-GROUPING SETS、GROUPING__ID、CUBE、ROLLUP

Zookeeper的Shell命令使用
Zookeeper编程01-循环监听
Zookeeper编程02-服务器上下线动态感知
Zookeeper案例之4个逻辑思维训练小题目

HBase Shell常用命令
HBase Java API 01:基础操作
HBase Java API 02:过滤器
HBase Java API 03:HBase与MapReduce整合
HBase案例之2个逻辑思维训练小题目
HBase和Hive整合

Spark常用Transformations算子(一)
Spark常用Transformations算子(二)
Spark常用Actions算子
Spark-RDD持久化
Spark读写HBase之使用Spark自带的API以及使用Bulk Load将大量数据导入HBase
Spark读写HBase之使用hortonworks的开源框架shc(一):源码编译以及测试工程创建
Spark读写HBase之使用hortonworks的开源框架shc(二):入门案例

Kafka 消费者旧版低级 API
Kafka 新版消费者 API(一):订阅主题
Kafka 新版消费者 API(二):提交偏移量
Kafka 新版消费者 API(三):以时间戳查询消息和消费速度控制
Kafka 新版消费者 API(四):优雅的退出消费者程序、多线程消费者以及独立消费者
Kafka 新版生产者 API
Kafka 主题管理 API
Kafka 自定义分区器
Kafka 自定义序列化器和反序列化器
大数据通用的序列化器——Apache Avro
Kafka 中使用 Avro 序列化框架(一):使用传统的 avro API 自定义序列化类和反序列化类
Kafka 中使用 Avro 序列化框架(二):使用 Twitter 的 Bijection 类库实现 avro 的序列化与反序列化
Kafka 中使用 Avro 序列化组件(三):Confluent Schema Registry

3. 大数据组件核心原理篇

YARN Fair Scheduler
YARN Capacity Scheduler

HBase Region 自动拆分策略

Spark性能调优01-资源调优
Spark性能调优02-代码调优
Spark性能调优03-数据本地化调优
Spark性能调优04-数据倾斜调优
Spark性能调优05-Shuffle调优
Spark性能调优06-JVM调优
Spark on Yarn资源配置

Kafka 核心组件之协调器

相关文章

网友评论

      本文标题:大数据架构师文集目录

      本文链接:https://www.haomeiwen.com/subject/bqohtltx.html