美文网首页
yarn伪分布式配置,运行一个

yarn伪分布式配置,运行一个

作者: Ace_Wang | 来源:发表于2018-06-04 21:46 被阅读0次

    进入/etc/hadoop下

    复制mapred-site.xml.template

    cp mapred-site.xml.template mapred-site.xml;

    然后加入

       

            mapreduce.framework.name

            yarn

    然后

    etc/hadoop/yarn-site.xml文件

        yarn.nodemanager.aux-services

         mapreduce_shuffle

       

    至此配置完成我们启动试一下:sbin/start-yarn.sh

    我们使用8088端口请求看一下,有没有通;

    yarn伪分布式安装完成。

    我们现在跑一个mapreduce例子看一下:

    例子的具体名字不记得了,只记得有个“example”,那我们怎么办呢,so easy我们find一下,

    find ./ -name "*example*"

    看名字,估计也能猜出来是红框内的了:

    我们运行一下,运行一个简单的pi,求圆周率:

    hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.1.jar pi 5 10

    我们可以看到运行结果,我们给的参数比较小所以计算有偏差;

    然后我们在看一下yarn页面:

    红框内使我们刚刚运行的任务,State“FINASHED”,FinalStatus“SUCCESSED”;

    第一个mapreduce例子也跑完了;

    博客内容比较低端,记录一下自己的学习历程,希望大家都能够有所收获

    相关文章

      网友评论

          本文标题:yarn伪分布式配置,运行一个

          本文链接:https://www.haomeiwen.com/subject/nvsssftx.html