hadoop

作者: 558f565a3cd7 | 来源:发表于2017-04-12 10:56 被阅读0次

下载
http://hadoop.apache.org/releases.html

测试ssh是否可以登录
ssh: connect to host localhost port 22: Connection refused

配置

hdfs-site.xml

<property>
    <!--设置HDFS存储数据的副本数量-->
    <name>dfs.replication</name>
    <value>1</value>  <!--在伪分布式中,一份就可以了,真正的分布式一般存3份-->
</property>

mapred-site.xml.template
先把文件重命名为mapred-site.xml
然后再对它进行编辑

<property>
    <!--指定mapreduce编程模型运行在yarn上-->
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

yarn-site.xml

  <property>
    <!--指定yarn老大(resourcemanager的地址)-->
    <name>yarn.resourcemanager.hostname</name>
    <value>localhost:8032</value>
  </property>
  <property>
      <!--mapreduce执行shuffle时获取数据的方式-->
      <name>yarn.nodemanager.hostname</name>
      <value>mapreduce_shuffle</value>
  </property>

初始化HDFS(格式化)

bin/hdfs namenode -format

相关文章

网友评论

      本文标题:hadoop

      本文链接:https://www.haomeiwen.com/subject/znzpattx.html