1 hdfs 文件分布式存储
2 mapreduce 文件分布式计算
3 yarn 分布式调度

hadoop最简集群启动

1.准备：
3台虚拟机 ip1 hostname1 ip 2 hn2 ip3 hn3 以第一台为例,装有解压好jdk,hadoop
2.修改配置文件
2.1配置hosts vi /etc/hosts 把所有机器名和ip写入
2.2配置profile vi /etc/profile jdk and hadoop

export JAVA_HOME=/path/jdk7
export HADOOP_HOME=/path/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

进入hadoop配置
cd /path/hadoop/etc/hadoop
2.3配置hadoop-env.sh
vi hadoop-env.sh /JAVA_HOME 修改java环境变量
2.4配置core-site.xml
vi core-site.xml

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://ip1:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/path/hadoop/tmp</value>
        </property>
</configuration>

2.5配置hdfs-site.xml

<configuration>
        <!-- 指定HDFS副本的数量 -->
       <property>
            <name>dfs.replication</name>
            <value>3</value>
       </property>
       <property>
             <name>dfs.secondary.http.address</name>
             <value>ip1:50090</value>
       </property>
</configuration>

2.6配置mapred-site.xml

<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>

2.7配置yarn-site.xml

<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>ip1</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

3.初始化
hdfs namenode -format
4.启动
start-all.sh
5.查看ip1:50070
ip1:8088

注：关闭防火墙