Hadoop 伪分布式安装部署

作者: 9c0ddf06559c | 来源:发表于2018-03-25 14:22 被阅读40次

1. jdk安装

     解压:   tar -zxvf jdk-7u79-linux-x64.tar.gz -C /working/source
     添加到系统环境变量 :~/.bash_profile
export JAVA_HOME="/working/source/jdk1.7.0_79"
CLASSPATH=$CLASSPATH.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin

使得环境变量生效: source ~/.bash_profile
验证java是否配置成功: java -v
详细请参考 http://blog.csdn.net/u010961759/article/details/40078365

2. 安装ssh

  sudo yum/apt-get install ssh
  ssh-keygen -t rsa
  cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

3. 下载并解压hadoop

  下载:直接去cdh网站下载 wget http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz
   解压: tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz -C /working/source

配置

hadoop.evn.sh

export JAVA_HOME=/working/source/jdk1.8.0_151  //配置java环境

/etc/host

在 /etc/host 加上
127.0.0.1   bigdata-msenior01.kfk.com

core-site.xml

先执行 mkdir /data/tmp 创建存储路径
然后修改core-site
<configuration>  
   <!--配置域名和端口-->
     <property>
        <name>fs.defaultFS</name>
        <value>hdfs://bigdata-msenior01.kfk.com:8020</value>
    </property>
     <property>
   <!--配置存储路径-->
         <name>hadoop.tmp.dir</name>
         <value>/working/source/hadoop-2.6.0-cdh5.7.0/data/tmp</value>
    </property>
</configuration>

hdfs-site.xml

  <property>
              <name>dfs.replication</name>
              <value>1</value>
 </property>

slaves

5 启动hdfs

   格式化文件系统(仅第一次执行即可,不要重复执行)hdfs(hadoop) namenode -format
   启动:hdfs sbin/start-dfs.sh

检查是否启动成功

jps 
    DataNode
    SecondaryNameNode
    NameNode

浏览器方式方式 bigdata-msenior01.kfk.com:50070

6 停止hdfs

sbin/stop-dfs.sh

Hadoop shell 的基本使用

hdfs dfs
hdfs fs

相关文章

  • Hadoop相关文章索引(3)

    环境部署 hadoop-2.7.0.tar.gz hadoop 2.6.0单节点-伪分布式模式安装 hadoop2...

  • hadoop 伪分布式搭建指南

    简述 hadoop 集群一共有4种部署模式,详见《hadoop 生态圈介绍》。伪分布式模式将hadoop安装在一台...

  • HBase组件部署-单节点

    注意伪分布式不等同与单机模式! 1.需要安装好jdk ![[Hadoop平台搭建-集群部署-HA#3 jdk的安装...

  • 手动部署Hadoop2分布式集群和YARN集群管理命令

    一、手动部署集群 安装多个节点Hadoop-YARN集群与安装单个节点(伪分布式模型)的方式类似。集群模型中,主节...

  • Hadoop3.0 Java API使用指南

    0.开发环境概述 客户端环境 服务器伪分布式安装部署Hadoop3 1.Windows平台下Hadoop客户端运行...

  • hadoop成长笔记

    [2018/08/07]1. 伪分布集群的安装 介绍:Hadoop三种运行模式安装:Hadoop(二)搭建伪分布式...

  • Hadoop分布式集群搭建

    Hadoop分布式集群和前面的伪分布式安装方法类似,Hadoop用户创建,ssh配置,java环境安装,Hadoo...

  • 大数据||hadoop分布式集群安装

    集群前先计划虚拟机,看文章大数据||Hadoop分布式部署虚拟机 基于伪分布式环境安装进行展开规划机器与服务(★★...

  • hadoop+hbase 伪分布式安装

    基本环境及软件: java基础环境和hadoop为分布式安装请点击,跳转至"hadoop+spark 伪分布式安装...

  • Hadoop安装指南

    hadoop单机/伪分布式安装指导链接: hadoop集群安装 HDFS学习资源: HDFS入门 Hbase学习资...

网友评论

本文标题:Hadoop 伪分布式安装部署

本文链接:https://www.haomeiwen.com/subject/jopbmxtx.html