hdfs搭建

单机

添加用户

~$ addUser hadoop

JAVA

export $JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
# 或者在hadoop配置文件hadoop/etc/hadoop/hadoop-env.sh中配置

下载hadoop稳定版2.9.2

~$ wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz
~$ tar -xzf hadoop-2.9.2.tar.gz
~$ mv hadoop-2.9.2 /usr/local/hadoop
~$ sudo chown hadoop.hadoop hadoop -R

测试

./bin/hadoop

输出正常则单机成功

hdfs集群

配置

hosts

__内网IP__ __master_hostname__
__内网IP__ __slave_hostname__

配置各服务器间的ssh密钥访问

core-site.sh

<configuration>
    <!-- 指定HADOOP所使用的文件系统schema（URI），HDFS（NameNode）的地址 -->
    <property>
         <name>fs.default.name</name>
         <value>hdfs://__hostanme__:9100</value>
    </property>
    <!-- 指定hadoop运行时产生文件的存储目录 -->
    <property>  
         <name>hadoop.tmp.dir</name>  
         <value>/var/services/hadoop/tmp</value>  
         <description>A base for other temporary directories.</description> 
    </property>  
</configuration>

hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

hdfs-site.sh

<configuration>
    <!-- 指定namenode的http通信地址 -->
    <property>
        <name>dfs.namenode.http-address</name>
        <value>__namenode_hostname__:51070</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>__secondary_node_hostname__:51090</value>
    </property>
    <!-- 指定HDFS副本的数量 -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <!-- 如果是通过公网IP访问内网集群 -->
    <property>
        <name>dfs.client.use.datanode.hostname</name>
        <value>true</value>
        <description>only cofig in clients</description>
    </property>
</configuration>

slaves

__slave_hostname__

masters

__secondary_node_hostname__

环境变量

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

格式化集群

hadoop namenode -format

启动/停止集群

~$ sudo su hadoop
~$ start-dfs.sh
~$ stop-dfs.sh

常用命令

#查看目录文件
hdfs dfs -ls /
#删除目录
hdfs dfs -rm -r /test

SparkConf配置

// 如clinet在外网需要在client端配置已hostname方式访问集群，否则是通过集群配置的内网地址

new SparkConf()
    ...
    .set("dfs.client.use.datanode.hostname","true")
    ...

Client设置Hadoop用户环境变量(否则可能出现permission error）

export HADOOP_USER_NAME=hadoop

spark driver以linux service启动时有可能无法获取到该环境变量，导致权限错误，可以改变hdfs目录对应的owner来实现访问

备注

如果hdfs集群以主机名方式配置，则需要客户端（eg. spark driver)在连接集群前配置所有集群节点对应的hosts，否则单指定namenode节点可能会出现UnresolvedAddressException: null