大数据的一些笔记

欢迎访问我的个人博客：https://xiaohuilee.github.io/

1. 大数据的经验之谈

1.1 技术栈：Python + 第二语言

Python的语法简单，使用人群可能面临爆发增长，拥有第二语言可以提高自己的竞争力，尤重Java，Scala。

• JavaEE可以帮助理解大数据，同时对于项目角色分配有很多帮助。
• Scala的人群在公司待遇会比普通大数据人员好些。

工具可以使用Pycharm或者Intellij IDEA + Python插件。

1.2 大数据框架的语言方向：

• Java
• Scala
• Python

1.3 大数据框架的应用方向：

Hadoop在许多公司里面偏向了底层，现在的公司大多偏向于后期运用，实时计算，机器学习等

• 实时计算：Spark，Storm
• 存储：Hive
• 算法：机器学习

2. Python + Hbase + Zookeeper + Thrift2的环境搭建

架构示意图如下：

python大数据架构.png

Hbase是用Java编写的，能够达到在十亿行 * 百万列级别的数据库上能做到实时定位以及查询。

2.1 安装Hadoop

2.2 搭建zookeeper集群

Zookeeper是用于管理Hbase的。

2.2.1 在主机们上安装Zookeeper

tar -zxvf zookeeper-...-tar.gz

2.2.2 配置环境变量

[/etc/profile]
export PATH=$PATH:ZK_HOME:/bin

2.2.3 配置Zookeeper并进行分发

将三台主机加入集群，并配置端口2888和3888。

[server01 ~ server03]
[/soft/zk/conf/zoo.cfg]
server.1=server01:2888:3888
server.2=server02:2888:3888
server.3=server03:2888:3888

2.2.4 配置Zookeeper集群的服务器标识（以辨认哪台服务器是哪台服务器）

服务器标识是存储在每台机子上Zookeeper的dataDir目录里的myid文件中,内置服务器的id标识。

echo 1 > /home/centos/zookeeper/myid

2.2.5 启动Zookeeper集群

[server01 ~ server03]
/soft/zk/bin/zkServer.sh start

Zookeeper集群有一个leader服务器，其他的都是follower服务器，可以通过zkServer.sh status查看。

2.3 Hbase

2.3.1 安装Hbase数据库

tar -zxvf hbase-...-tar.gz

2.3.2 配置环境变量

[/etc/profile]
export PATH=$PATH:HBASE_HOME/bin

2.3.3 配置Hbase

注意：先做好备份

• 禁用Hbase默认的Manage
• 标识Zookeeper的地址

[hbase/conf/hbase-site.xml]

2.3.4 配置Hbase的leader服务器和follower服务器

前面因为zookeeper有一个leader和其他的follower，所以我们要对Hbase也作同样的处理。

vim /conf/regionservers
server02
server03

2.3.5 启动Hbase集群

Hbase集群依赖于Hadoop集群，所以在启动Hbase集群之前必须先启动Hadoop集群。

//启动Hadoop集群服务
start-all.sh
//启动Hbase集群服务
start-hbase.sh

服务启动.png

2.4 Thrift2

Thrift是作为中间桥梁供Python和Zookeeper交互的。