hadoop入门（初识yarn）

分布式计算
设计原则：移动计算，而不是移动数据。
配置计算机调度系统yarn和计算引擎Map/Reduce。

# cd /usr/local/hadoop/etc/hadoop
# vi yarn-site.xml

插入配置文件：
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

<property>
<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>

# start-yarn.sh    //启动resourcemanager和nodemanager
# jps

查看yarn是否启动成功也可以在宿主机浏览192.168.56.100:8088

配置文件(路径:/usr/local/hadoop/etc/hadoop)：

# vi mapred-site.xml.template

插入配置文件：
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

创建一个文件做实验。
启动hdfs：

# start-dfs.sh
# cd 
# vi input.txt    //任意输入一些内容。
# hadoop fs -mkdir /wcinput    //在hdfs上创建一个目录。
# hadoop fs -put input.txt /wcinput
# hadoop fs -ls /wcinput
# cd /usr/local/hadoop/share/hadoop/mapreduce
# hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /wcinput/input.txt /wcoutput
# hadoop fs -ls /wcoutput  
-rw-r--r--   3 root supergroup          0 2017-10-07 11:31 /wcoutput/_SUCCESS
-rw-r--r--   3 root supergroup         28 2017-10-07 11:31 /wcoutput/part-r-00000
# hadoop fs -text /wcoutput/part-r-00000    //可以查看统计结果。

可以在浏览器中查看结果输出：