大数据平台搭建（纯文字版）

作者: 圈圈_勿忘初心 | 来源:发表于2017-05-30 23:07 被阅读0次

Flink基础系列4-CDH6.3集成Flink1.9
大数据平台搭建（纯文字版）
搭建大数据平台系列(2)-zookeeper环境搭建
搭建大数据平台系列(3)-hbase环境搭建
博客分享计划
基于MaxCompute打造轻盈的人人车移动端数据平台
大数据架构师文集目录
大数据平台Hadoop的分布式集群环境搭建
从0到1搭建大数据平台之计算存储系统
hadoop 3.1.3单机版安装教程

安装虚拟机环境
下载VMware并安装、破解
在VMWare官网上http://www.vmware.com/ ，选择VMware workstation12 pro版本安装。
创建虚拟机
在Ubuntu的官网https://www.ubuntu.com/上下载， ubuntu-14.04.4-desktop-amd64.iso，该版本为稳定的维护的版本。
安装VMWare Tools
①启动Ubuntu系统，进入到桌面
②单击VMWare的【虚拟机】菜单，选择【安装VMWare Tools】命令
系统会自动挂载VMWare Tools，并自动打开
③解压tar.gz包
将压缩包复制到桌面，打开terminal，执行解压命令
tar -zxvf VMwareTools-10.0.0-2977863.tar.gz
④安装VMWare Tools
切换到文件夹下，执行安装文件，重启后生效
cd Desktop/vmware-tools-distrib/
sudo ./vmware-install.pl
使用共享文件夹
①在物理机Windows系统中创建一个文件夹，用作共享文件夹
②在虚拟机关闭的情况下，打开虚拟机设置，在弹出的对话框中单击【选项】
③单击【共享文件夹】，在右侧选择【总是启用】选项，单击【添加】按钮
④在弹出的向导对话框中，进行如下操作，添加共享文件夹
⑤启动虚拟机系统，共享文件夹被放在【/mnt/hgfs/】目录下，即在【/mnt/hgfs/share】中就可以找到被共享的文件了
安装JDK
①下载jdk安装包，放入物理机的共享文件夹
当前官网的最新版本jdk1.8.0_05
②解压安装jdk
进入虚拟机，切换到共享文件夹下，输入命令进行安装
cd /mnt/hgfs/share
sudo tar zxvf jdk-8u5-linux-x64.gz -C /usr/local/
③配置hadoop用户环境变量
sudo gedit ~/.bashrc
打开后添加：
export JAVA_HOME=/usr/local/jdk1.8.0_65
export PATH=${JAVA_HOME}/bin:$PATH
保存后退出
④配置默认jdk版本
sudo update-alternatives --install /usr/local/jdk1.8.0_65 /bin/java 300
sudo update-alternatives --install /usr/local/jdk1.8.0_65 /bin/javac 300
sudo update-alternatives --config java
⑤刷新配置
source ~/.bashrc
⑥查看环境是否配置成功
java -version
系统环境配置
①修改主机名：
（1）临时修改：
sudo hostname master
（2）永久修改：
sudo gedit /etc/hostname
修改后重启生效
②设置固定IP
sudo gedit /etc/network/interfaces
在其中写入：
auto eth0
iface eth0 inet static
address 192.168.111.128
netmask 255.255.255.0
gateway 192.168.111.1
③修改主机名和 IP 的映射关系
sudo gedit /etc/hosts
打开后修改为：
127.0.0.1 localhost
127.0.0.1 master
192.168.111.200 master
④关闭防火墙
sudo ufw disable
之后，系统提示“防火墙在系统启动时自动禁用”。
⑤重启虚拟机
sudo reboot now
安装SSH并设置无密码登录
①安装OpenSSH
sudo apt-get install ssh openssh-server
中途按y继续
②确认sshserver是否启动
sudo ps -e | grep sshd
③生成RSA密钥（包括私钥和公钥）
ssh-keygen -t rsa
回车后会在~/.ssh/下生成两个文件：id_rsa和id_rsa.pub这两个文件是成对出现的
④将新生成的公钥复制到已授权密钥列表
进入~/.ssh/目录下，将id_rsa.pub追加到authorized_keys授权文件中，开始是没有authorized_keys文件的
cd ~/.ssh
cat id_rsa.pub >> authorized_keys
⑤将生成的authorized_keys文件拷贝到slave1主机相同的文件夹下
scp authorized_keys master:~/.ssh/
安装Hadoop
①解压安装
在hadoop的官网上下载：http://hadoop.apache.org/下载hadoop-2.7.2.tar.gz
将压缩包放在物理机的共享文件夹中，打开虚拟机，进入共享文件夹/mnt/hgfs/
输入命令解压安装包到/usr/local/下
sudo tar -zxvf hadoop-2.7.2.tar.gz -C /usr/local/
②修改环境变量
sudo gedit /usr/local/hadoop-2.7.2/etc/hadoop/hadoop-env.sh
打开后
替换exportJAVA_HOME=${JAVA_HOME}为如下：
export JAVA_HOME=/usr/local/jdk1.8.0_65
同样，配置yarn-env.sh(YARN资源管理器，管理的是HADOOP集群中的主从节点资源，YARN不需要安装，它是HADOOP自带的，通过配置起作用)
在里面加入：
export JAVA_HOME=/usr/local/jdk1.8.0_65
③为运行Hadoop创建目录
Hadoop运行在Linux操作系统之上，它直接使用Linux的本地文件系统来存储HDFS的相关信息。因此，必须为Hadoop集群的每个节点创建相同目录结构，操作命令如下。
mkdir ~/dfs #在Linux文件系统中构建HDFS的统一入口位置
mkdir ~/dfs/tmp #创建tmp目录，用于保存HDFS工作时的临时信息
mkdir ~/dfs/data #创建data目录，存储HDFS的用户文件的数据块
mkdir ~/dfs/name #创建name目录，存储HDFS的元数据信息
配置伪分布式模式
①打开core-site.xml文件
sudo gedit /usr/local/hadoop-2.7.2/etc/hadoop/core-site.xml
然后在“<configuration>”和“</configuration>”标签之间输入以下内容并保存。

    <name>fs.defaultFS</name>
    <value>hdfs://master:9000</value>
    <description>HDFS的URI，master为主节点的主机名</description>
</property>
<property>
    <name>io.file.buffer.size </name>
    <value>130172</value>
    <description>文件缓存大小</description>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/home/hadoop/dfs/tmp</value>
    <description>namenode工作时的临时文件夹</description>
</property>```
②打开hdfs-site.xml文件
sudo  gedit  /usr/local/hadoop-2.7.2/etc/hadoop/hdfs-site.xml
然后在“<configuration>”和“</configuration>”标签之间输入以下内容并保存。
```<property>
    <name>dfs.namenode.name.dir </name>
    <value>file:/home/hadoop/dfs/name</value>
    <description>NameNode上HDFS名字空间元数据的存储位置</description> 
</property>
<property>
    <name>dfs.datanode.data.dir </name>
    <value> file:/home/hadoop/dfs/data </value>
    <description>DataNode数据块的物理存储位置</description>
</property>
<property>
    <name>dfs.replication</name>
    <value>1</value>
    <description>副本个数，默认是3，应小于DataNode节点数量</description>
</property>
<property>
    <name>dfs.http.address</name>
    <value>master:50070</value>
    <description>HDFS Web UI的入口URL</description>
</property>
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>master:50090</value>
    <description>可查看SecondaryNameNode守护进程的状态信息</description>
</property>```
③打开yarn-site.xml文件
sudo  gedit  /usr/local/hadoop-2.7.2/etc/hadoop/yarn-site.xml
然后在“<configuration>”和“</configuration>”标签之间输入以下内容并保存。
```<property>
  <name>yarn.resourcemanager.address</name>
  <value>master:18040</value>
</property>
<property>
  <name>yarn.resourcemanager.scheduler.address</name>
  <value>master:18041</value>
</property>
<property>
  <name>yarn.resourcemanager.resource-tracker.address</name>
  <value>master:18042</value>
</property>
<property>
  <name>yarn.resourcemanager.admin.address</name>
  <value>master:18043</value>
</property>
<property>
  <name>yarn.resourcemanager.webapp.address</name>
  <value>master:8088</value>
</property>
<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>```
④打开mapred -site.xml文件
sudo  cp  mapred-site.xml.template  mapred-site.xml
sudo  gedit  mapred-site.xml
然后在“<configuration>”和“</configuration>”标签之间输入以下内容并保存。
```<property>
   <name>mapreduce.framework.name</name>
   <value>yarn</value>
</property>
<property>
   <name>mapreduce.jobhistory.address </name>
   <value> master:10020</value>
</property>
<property>
   <name>mapreduce.jobhistory.webapp.address </name>
   <value> master:19888</value>
</property>```

10. HDFS格式化
    初次运行的初始化
进入hadoop的根目录后输入以下命令
./bin/hdfs  namenode  -format

11. 启动hadoop
    cd  /usr/local/hadoop-2.7.2
sbin/start-dfs.sh
sbin/start-yarn.sh
    或
sbin/start-all.sh
在master机上输入jps

12. 测试
可以在web  UI中做测试：
在浏览其中输入：[http://master:8088](http://master:8088)可以看到hadoop的信息。

Flink基础系列4-CDH6.3集成Flink1.9
一.准备工作 1.1 CDH 6.3.1大数据平台搭建 CDH 6.3 大数据平台搭建[https://blog....
大数据平台搭建（纯文字版）
安装虚拟机环境下载VMware并安装、破解在VMWare官网上http://www.vmware.com/ ，选择...
搭建大数据平台系列(2)-zookeeper环境搭建
目前本系列文章有：搭建大数据平台系列(0)-机器准备搭建大数据平台系列(1)-Hadoop环境搭建[hdfs,ya...
搭建大数据平台系列(3)-hbase环境搭建
目前本系列文章有：搭建大数据平台系列(0)-机器准备搭建大数据平台系列(1)-Hadoop环境搭建[hdfs,ya...
博客分享计划
《核心分享--数据平台搭建》这既是数据平台搭建的核心点，也是接下来个人文章分享之旅的开始，会以平台搭建为基础，在...
基于MaxCompute打造轻盈的人人车移动端数据平台
以下内容根据演讲视频以及PPT整理而成。一．人人车数据平台快速搭建，一年时间完成6大平台的搭建基于阿里云平台...
大数据架构师文集目录
1. 大数据平台安装、部署、运维篇基于阿里云CentOS7.6搭建CM6.3大数据平台[https://www....
大数据平台Hadoop的分布式集群环境搭建
大数据平台Hadoop的分布式集群环境搭建 1 概述本文章介绍大数据平台Hadoop的分布式环境搭建、以下为Ha...
从0到1搭建大数据平台之计算存储系统
前面已经给大家讲了《从0到1搭建大数据平台之数据采集系统》、《从0到1搭建大数据平台之调度系统》，今天给大家讲一下...
hadoop 3.1.3单机版安装教程
引言公司有搭建大数据平台，为了让java能访问大数据平台，本人先在测试环境上自行搭建了一个单机版的hadoop，...