美文网首页我爱编程
Hadoop集群搭建即HDFS基本操作

Hadoop集群搭建即HDFS基本操作

作者: XinXingAstro | 来源:发表于2018-03-15 08:27 被阅读0次

HDFS就是一个分余展的大硬盘(分布式、自动冗余、动态扩展)
Hadoop目前不支持Java9最好装Java7或者Java8

命令 说明
rpm -ivh ./jdk…. 安装jdk,jdk默认安装路径为/usr/java
rpm -qa | grep jdk 验证jdk是否安装
tar –xvf ./hadoop-2.7.2.tar.gz 直接解压hadoop
tar -zxvf filename.tar -C /specific dir 解压文件到指定目录
export JAVA_HOME=/usr/java/default 修改/usr/local/hadoop/etc/hadoop/hadoop-env.sh配置文件,添加JAVA_HOME
export $PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin 在/etc/profile.d中新建hadoop.sh将bin和sbin目录添加到PATH变量中
hostnamectl set-hostname NAME 设置hostname
ifconfig 查看当前ip
/etc/sysconfig/network-scripts/ifcfg-enp0s3 更改网络配置
service network restart 重启网络服务
/etc/hosts 设置ip和host的对应关系
systemctl stop firewalld 停止防火墙
systemctl disable firewalld 禁用防火墙

VirtualBox桥接模式虚拟机连外网配置:

步骤
1.将各个虚拟机的网络连接方式设置成桥接,映射的网卡应为电脑上连网的那个网卡
2.修改/etc/sysconfig/network-scripts/ifcfg-enp0s3中如下配置:
BOOTPROTO=static
ip地址获取方式为静态ip(只改这个地方不够,重启后ip会变
IPADDR=192.168.3.100
将ip地址设置为和主机同网段ip
NETMASK=255.255.255.0
设置子网掩码
GATEWAY=192.168.3.1
设置网关(路由器地址)
3.在/etc/sysconfig/network中设置DNS1和DNS2
DNS1=192.168.3.1 路由器地址
DNS2=8.8.8.8
谷歌默认DNS地址
4.service network restart
重启网络服务

相关文章

  • hadoop学习大纲

    Hadoop集群环境搭建 Hadoop集群环境搭建 HDFS 图说HDFS基本原理hadoop的shell命令操作...

  • Hadoop课程大纲

    Hadoop集群环境搭建 Hadoop集群环境搭建 HDFS 图说HDFS基本原理hadoop的shell命令操作...

  • Hadoop课程大纲

    Hadoop集群环境搭建 Hadoop集群环境搭建 HDFS 图说HDFS基本原理hadoop的shell命令操作...

  • Hadoop 课程大纲

    Hadoop集群环境搭建 Hadoop集群环境搭建 HDFS 图说HDFS基本原理hadoop的shell命令操作...

  • Hadoop集群搭建即HDFS基本操作

    HDFS就是一个分余展的大硬盘(分布式、自动冗余、动态扩展)Hadoop目前不支持Java9最好装Java7或者J...

  • Hadoop生态学习之Hadoop集群搭建

    hadoop集群基础环境搭建 注意:基础的Hadoop集群只包含HDFS、YARN、MapReduce三个基本组件...

  • Hadoop之YARN的安装与测试

    在之前几篇文章中介绍了Hadoop生态圈中的HDFS基础,HDFS集群搭建,JAVA的基本API等操作,此文介绍一...

  • Hadoop读书笔记:CentOS装Hadoop集群

    HADOOP集群搭建 1.集群简介 Hadoop集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分...

  • hadoop 集群

    标签:Hadoop 搭建分布式集群环境 MapReduce YARN HDFS 分布式环境搭建之环...

  • Hbase集群搭建

    【集群设计】在原有的hadoop2.x集群上搭建Hbase集群,因为hbase集群要以来hdfs 【前期准备】ha...

网友评论

    本文标题:Hadoop集群搭建即HDFS基本操作

    本文链接:https://www.haomeiwen.com/subject/jsscqftx.html