1,将hadoop安装包上传到服务器上,我采用的是2.4.1,是一个比较老的版本,能说明问题就可以啦,解压:tar -zxvf hadoop-2.4.1.tar.gz -C app/ 将安装包解压到app目录下
现在进入app中的hadoop-2.4.1,认识一下hadoop都有什么东西
进入etc配置文件 cd etc/hadoop
还有一个hadoop-env.sh这个是hadoop的环境配置,正式开车,撸起袖子配置
①,要给hadoop配置jdk,因为hadoop使用java开发的,肯定需要jdk,好了安装jdk
将下载的jdk上传到服务器并解压
tar -zxvf jdk-8u161-linux-x64.tar.gz -C app/
配置环境变量
sudo vi /etc/profile
在末尾加上
export JAVA_HOME=/home/songlj/app/jdk1.8.0_161
export PATH=$PATH:$JAVA_HOME/bin
生效:source /etc/profile
测试是否安装成功java -version
如上图,则说明安装成功!
接下来就是配置hadoop的环境 vi hadoop-env.sh
修改JAVA_HOME
修改完,保存,进入第二部
②,核心配置,core-site.xml
③,修改hdsf-site.xml
④,配置mapred-sit.xml
mv mapred-site.xml.template mapred-site.xml
vi mapred-site.xml
⑤,配置yarn,[资源调度的框架]yarn-site.xml
这样就配置完了
文件系统初次使用需要格式化,hdfs也不例外
hdfs namenode -format
看到successfully就是格式化成功了
那么现在就启动 start-dfs.sh
每次询问都需要输入密码,依次是nameNode datanode secondNameNode
测试yarn start-yarn.sh
到这里伪分布式集群已经安装完毕
望指正,不吝赐教
网友评论